Inovação com Pesos Abertos
O lançamento do mais novo modelo de LLM de pesos abertos (open weight) da Meta, o Llama 3.1, pode tirar o sono da OpenAI e várias outras empresas com modelos fechados. Pela primeira vez, um modelo aberto está entre os primeiros no ranking padronizado de avaliação. Para contextualizar, todos os modelos fechados (Anthropic Claude, OpenAI, Cohere, etc.) são consumidos a partir de APIs, onde os fabricantes sustentam a infraestrutura e vendem por uso (no caso a unidade de medida é Token).
Uma vez que temos um modelo com qualidade igual ou superior que pode ser utilizado livremente rodando em hardware próprio, a coisa muda completamente de figura, pois cada empresa poderá ter suas inovações relacionadas à IA generativa de forma interna, caindo vertiginosamente o custo da inferência. Isso causa uma grave ameaça à OpenAI, pois a maioria do que vemos hoje no mercado de aplicativos de IA nada mais são do que empresas que consomem a API da OpenAI (ChatGPT) e embutem em aplicativos usados para os mais diversos fins. Com um modelo tão bom quanto o Llama 3.1, que pode ser rodado internamente, essas empresas que implementam esses aplicativos terão seus modelos a preço de custo.
O Poder do Llama 3.1
O Llama 3.1 representa uma inovação significativa na área de modelos de linguagem. Desenvolvido pela Meta, este modelo não apenas suporta multilinguismo, mas também apresenta avanços em codificação, raciocínio e uso de ferramentas. Com 405 bilhões de parâmetros e uma janela de contexto de até 128 mil tokens, o Llama 3.1 está no mesmo nível de desempenho que líderes de mercado como o GPT-4.
A infraestrutura robusta utilizada para treinar o Llama 3.1, que inclui clusters de GPUs H100, garante a eficiência e estabilidade necessárias para desenvolver um modelo desta magnitude. Além disso, o Llama 3.1 está sendo expandido para incluir capacidades multimodais, como reconhecimento de imagem, vídeo e fala, o que o torna uma ferramenta ainda mais poderosa e versátil para diversas aplicações.
Desafios para a OpenAI
Por outro lado, a OpenAI enfrenta desafios financeiros significativos. De acordo com uma análise do The Information, a OpenAI pode perder até US$ 5 bilhões este ano devido aos altos custos de treinamento e inferência de IA, que podem chegar a US$ 7 bilhões. Além disso, os custos com pessoal podem alcançar US$ 1,5 bilhão. Esta situação crítica coloca a OpenAI em uma posição vulnerável, especialmente com a necessidade de levantar mais capital nos próximos 12 meses.
A Corrida pelo Hardware
Agora, mais do que nunca, a corrida será na parte do hardware para sustentar tudo isso. Apesar de a Nvidia ser de longe a campeã deste mercado, temos a AMD, AWS, Intel e várias outras com iniciativas de desenvolver seus próprios chips para treinamento e inferência. A capacidade de uma empresa de desenvolver e manter sua própria infraestrutura de hardware será um fator crucial na sua habilidade de competir no mercado de IA.
Mudança de Paradigma
A disponibilidade de um modelo aberto como o Llama 3.1, que pode ser executado internamente nas infraestruturas das empresas, representa uma mudança de paradigma. As empresas poderão reduzir drasticamente seus custos de inferência e, ao mesmo tempo, aumentar sua capacidade de inovação em IA generativa. Com isso, o mercado de aplicativos de IA, que atualmente depende fortemente das APIs da OpenAI, pode começar a migrar para soluções internas mais econômicas e eficientes.
Conclusão
Em suma, o Llama 3.1 não só promete revolucionar o campo dos modelos de linguagem, mas também coloca uma pressão significativa sobre a OpenAI e outros provedores de modelos fechados, mudando o panorama da IA de forma profunda e duradoura. Com a corrida pelo hardware se intensificando, o futuro da IA será moldado tanto pela inovação em software quanto pela capacidade de suporte em hardware, trazendo novos desafios e oportunidades para o setor.
