Sabemos que os grandes modelos linguísticos deinteligência artificial eles precisam de uma enorme quantidade de dados para melhorar o desempenho de seus chatbots. Sabemos também que requerem enormes recursos humanos para refinar a aprendizagem através dos chamados aprendizagem de reforço. Este último acontece, de fato, com i feedback das pessoas que avaliam as respostas sobre os diversos temas.
Estas duas condições devem aumentar a precisão das respostas modelos e reduzir erros e alucinações, que, infelizmente, ainda são frequentes. E mais dados significam maior precisão. Portanto, tais modelos têm uma tendência inata ao gigantismo.
Gigantismo que exige uma enorme poder de computação, a montante, na fase de aprendizagem e, a jusante, para servir os milhões de utilizadores que recorrem a ele em busca de respostas. Em março deste ano, por exemplo, havia 200 milhões de usuários ativos do ChatGPT. A obtenção de tal poder computacional pressupõe uma disponibilidade de dispositivos, equipamentos, software e energia sem precedentes na história da computação.
Estes pré-requisitos significam que a construção e manutenção de grandes sistemas linguísticos gerais requerem investimentos que apenas algumas grandes empresas podem suportar. Estima-se que só no primeiro trimestre de 2004 eu gigantes da alta tecnologia (Meta, Microsoft, Google e Amazon) gastaram 32 mil milhões de dólares em infraestruturas tecnológicas para apoiar a IA.
Existe, portanto, uma barreira formidável à entrada de novos intervenientes neste sector, que se estima valer um bilião de dólares até 2031.
A busca por novos modelos
Não é de admirar, portanto, que estejam a ser feitos esforços para reduzir significativamente esta barreira à entrada. Por exemplo, desenvolver modelos alternativos de aprendizagem para eliminar completamente a presença humana na fase de ajuste de dados. Estima-se também que estes novos modelos eles poderiam estar até sete vezes menos consumo de energia daqueles usados pelo OpenAi e Google Gemini. Este último aspecto é importante porque o desenvolvimento da IA, na sua forma atual, impacta negativamente o meio ambiente.
Um destes modelos pode ser encontrado na solução proposta pela start-up europeia Mistral e também em Claude, o modelo linguístico de Antrópico, start up dirigida por Dario Amodei. Purê de batata lhama 3, que Meta está se preparando para lançar, e Bate-papo GPT 5, a ser lançado em breve, faça uso desses modelos inovadores. Nos últimos dias, os pesquisadores da Amazon apresentaram um método (despejo de modelo) para eliminar erros e dados indesejados do modelo geral sem regenerá-lo do zero.
Na realidade, porém, a inovação mais disruptiva é um tipo diferente de abordagem ao problema da oferta de inteligência artificial. Esta é uma abordagem semelhante àquela que está surgindo no campo da energia nuclear com pequenos reatores modulares (SMRs).
Estamos nos referindo a sistemas de IA que são menores, especializados e menos dispendiosos para criar e manter. Esses modelos podem ser usado em uma ampla gama de dispositivos como smartphones, câmeras e sensores, permitindo assim chegar a esses usuários, como pequenas empresas e profissionais que não têm condições de adquirir modelos grandes. Além disso, como não requerem a nuvem ou uma ligação à Internet para funcionar, oferecem uma primeira solução para o importante problema da privacidade, protecção de dados e direitos de autor.
Esta semana, Microsoft e Apple eles lançaram respectivamente Phi-3 e OpenELM, duas famílias de modelos de linguagem que utilizam um recurso computacional mais limitado do que os modelos que já conhecemos. E o que é ainda mais interessante é que o código de ambas as famílias é de domínio público.
Família Phi-3 da Microsoft
“A abordagem que estamos adotando na série Phi é diferente daquela buscada pelo resto da indústria que parece focar principalmente na ampliação com o objetivo de adicionar mais dados e assim tornar o modelo maior”, disse ele. Sébastién Bubeck, vice-presidente de pesquisa de inteligência artificial generativa da Microsoft, para Katyanna Quach da revista “Semafor”, um jornal online global fundado em 2022 por Ben Smith, ex-colunista do “New York Times”.
Para a Microsoft, faz sentido investir em modelos menores para oferecer mais opções aos clientes do que os sistemas maiores nascidos da parceria com a OpenAI. Quem não tem condições de usar modelos dessa faixa pode recorrer a alternativas menores, como o Phi-3 mini.
A Microsoft usou um mistura de dados reais extratos da web e dados sintéticos gerado pela própria IA para treinar os conjuntos da família Phi-3.
"O é por isso que Phi-3 é tão bom devido ao seu tamanho – disse Bubeck – é porque processamos os dados com muito mais cuidado”. Isso significa que o texto utilizado para treinar o modelo foi verificado e selecionado na fonte para garantir a qualidade e precisão do material de aprendizagem.
Segundo a empresa de Seattle, o desempenho do Phi-3 é semelhante ao oferecido pelo ChatGPT 3.5, versão gratuita do Open AI.
Família OpenELM da Apple
Uma filosofia semelhante informa a família escalar OpenELM da Apple. Sua característica é que pode trabalhar com recursos do iPhone e em outros dispositivos da empresa Cupertino graças ao equilíbrio entre desempenho e requisitos do sistema. Esse equilíbrio é essencial para executar o OpenELMa localmente, com dados e processamento ocorrendo no dispositivo.
Mesmo no caso do OpenELM a escolha dos desenvolvedores recaiu sobre qualidade do texto e dos dados utilizados para treinar o modelo. A equipe da Apple filtrou texto de conjuntos de dados públicos, tentando preservar e transferir a complexidade das estruturas linguísticas e do léxico da linguagem natural para o modelo.
Embora a Apple ainda não tenha integrado o Open ELM em seus dispositivos, acredita-se que o próximo atualização do iOS (dia 18, esperado na Global Developer Conference no início de junho) irá incluí-lo, incluindo melhorias na Siri e recursos de resumo e preenchimento automático em aplicativos. Essas novas performances deverão ter melhor desempenho no iPhone 16 que será equipado com o novo chip M4, mais potente e otimizado para essas tarefas.
A proporção de modelos pequenos
Nem todos os usuários precisam do modelo de linguagem mais avançado ou de ponta, capaz de analisar centenas de documentos ou pesquisas científicas. Para muitas tarefas específicas, o modelos menores podem funcionar bem eficiente, rápida e econômica.
Em testes de benchmarking, Fi-mini, composto por 3,8 bilhões de parâmetros em comparação aos 175 bilhões do ChatGPT-3.5, possui desempenhos que não diferem significativamente deste último.
Os modelos OpenELM da Apple são ainda menores: variam entre 270 milhões e 3 bilhões de parâmetros. Para entender a dimensão diminuta da solução da Apple, basta considerar que o novo modelo Llama 3 da Meta, que pode ser classificado na categoria pequena, é composto por 8 bilhões de parâmetros.
A versão média da família OpenELM da Apple, que tem pouco mais de um bilhão de parâmetros, parece superar modelos de tamanhos comparáveis, apesar de ser treinada com menos dados.
A escolha de sistemas abertos
Inteligência artificial ainda não teve um grande impacto nos smartphones e as empresas tecnológicas estão a avançar rapidamente para explorar as possibilidades. Não há melhor maneira de ver quais novos produtos e aplicativos de IA podem ser criados do que abri-los para experimentação do desenvolvedor.
É por isso que até a Apple, notoriamente reservada em relação à sua tecnologia, lançou o código fonte e instruções de treinamento para seu sistema OpenELM.
Num artigo, os investigadores da Apple explicaram que a reprodutibilidade e a transparência dos LLMs são vitais para o avanço da inteligência artificial e para a investigação dos seus potenciais preconceitos e riscos.
Esses pequenos modelos são realmente válidos?
Neste ponto, questionamos se a IA em miniatura é realmente a boa ideia que parece. Infelizmente, eu benchmarks e testes usados avaliar o desempenho da inteligência artificial nem sempre são confiáveis e é difícil compará-los com precisão.
Esta é uma das principais conclusões doúltimo relatório “Índice de IA” da Universidade de Stanford. “Semafor” relata comunicado do responsável pela pesquisa, Nestor Maslej, que afirmou que alguns dos benchmarks não refletem como as pessoas realmente usam os chatbots. A indústria está testando sua eficiência na resolução de problemas matemáticos.
Mas a maioria dos usuários não se preocupa muito em como resolver equações matemáticas e, em primeiro lugar, preferiria um modelo mais preciso.
. . .
fontes:
- Katyanna Quach, Microsoft e Apple pretendem crescer com modelos menores de IA, “Semafor”, 26 de abril de 2024
- Kate O'Flaherty, Nova mudança de segurança de IA do iOS 18 muda o jogo para todos os usuários do iPhone, “Forbes”, 29 de abril de 2024
- Karen Weise e Cade Metz, Microsoft faz um novo impulso em sistemas menores de IA, “The New York Times”, 23 de abril de 2024
- Katyanna Quach, 'Disgorgement': pesquisadores da Amazon sugerem maneiras de se livrar de dados ruins de IA, “Semafor”, 1º de maio de 2024
- Karen Weise, In Race to Build AI, Tech Plans a Big Plumbing Upgrade, “The New York Times”, 27 de abril de 2024
- Kevin Roose, AI Has a Measurement Problem, “The New York Times”, 15 de abril de 2024
- Madhumita Murgia e Cristina Criddle, OpenAI e Meta preparam novos modelos de IA capazes de 'raciocinar', “The Financial Times”, 9 de abril de 2024
