Innovación con pesos abiertos
El lanzamiento del nuevo modelo LLM de peso abierto de Meta, Llama 3.1, podría ser motivo de preocupación para OpenAI y otras empresas con modelos de código cerrado. Por primera vez, un modelo de código abierto se encuentra entre los mejores en las clasificaciones de evaluación estandarizada. Para contextualizar, todos los modelos de código cerrado (Anthropic Claude, OpenAI, Cohere, etc.) se consumen a través de API, donde los proveedores mantienen la infraestructura y venden tarifas de uso (en este caso, la unidad de medida es el token).
Una vez que tengamos un modelo de igual o superior calidad que pueda usarse libremente en nuestro propio hardware, la situación cambiará por completo. Cada empresa podrá desarrollar sus propias innovaciones de IA generativa internamente, reduciendo drásticamente el coste de la inferencia. Esto supone una seria amenaza para OpenAI, ya que la mayoría de las aplicaciones de IA que vemos actualmente en el mercado no son más que empresas que consumen la API de OpenAI (ChatGPT) y la integran en aplicaciones utilizadas para una amplia variedad de propósitos. Con un modelo tan bueno como Llama 3.1, que puede ejecutarse internamente, estas empresas que implementen estas aplicaciones tendrán sus modelos a precio de coste.
El poder de la llama 3.1
Llama 3.1 representa un avance significativo en el modelado lingüístico. Desarrollado por Meta, este modelo no solo admite el multilingüismo, sino que también incorpora avances en codificación, razonamiento y herramientas. Con 405 mil millones de parámetros y una ventana de contexto de hasta 128 000 tokens, Llama 3.1 está a la altura de líderes del mercado como GPT-4.
La robusta infraestructura utilizada para entrenar Llama 3.1, que incluye clústeres de GPU H100, garantiza la eficiencia y estabilidad necesarias para desarrollar un modelo de esta magnitud. Además, Llama 3.1 se está ampliando para incluir capacidades multimodales como reconocimiento de imagen, vídeo y voz, lo que lo convierte en una herramienta aún más potente y versátil para diversas aplicaciones.
Desafíos para OpenAI
Por otro lado, OpenAI se enfrenta a importantes desafíos financieros. Según un análisis de The Information, OpenAI podría perder hasta 5 millones de dólares este año debido a los elevados costes de entrenamiento e inferencia de la IA, que podrían alcanzar los 7 millones. Además, los costes de personal podrían alcanzar los 1,5 millones de dólares. Esta situación crítica coloca a OpenAI en una posición vulnerable, especialmente ante la necesidad de captar más capital en los próximos 12 meses.
La carrera por el hardware
Ahora, más que nunca, la carrera por encontrar el hardware que lo soporte será intensa. Si bien Nvidia es, con diferencia, la líder en este mercado, AMD, AWS, Intel y otras compañías también están desarrollando sus propios chips para entrenamiento e inferencia. La capacidad de una empresa para desarrollar y mantener su propia infraestructura de hardware será un factor crucial para competir en el mercado de la IA.
Mudanza de Paradigma
La disponibilidad de un modelo abierto como Llama 3.1, que puede ejecutarse internamente en las infraestructuras de la empresa, representa un cambio de paradigma. Las empresas podrán reducir drásticamente sus costes de inferencia y, al mismo tiempo, aumentar su capacidad de innovación en IA generativa. Esto impulsará el mercado de aplicaciones de IA generativa. IA, que actualmente depende en gran medida de las API de OpenAI, puede comenzar a migrar a soluciones internas más rentables y eficientes.
Conclusión
En resumen, Llama 3.1 no solo promete revolucionar el campo de los modelos de lenguaje, sino que también ejerce una presión significativa sobre OpenAI y otros proveedores de modelos de código cerrado, transformando el panorama de la IA de forma profunda y duradera. Con la creciente competencia por el hardware, el futuro de la IA estará determinado tanto por la innovación de software como por la compatibilidad del hardware, lo que traerá nuevos desafíos y oportunidades a la industria.
