Innovation avec des poids ouverts
La sortie du nouveau modèle LLM open source de Meta, Llama 3.1, pourrait inquiéter OpenAI et plusieurs autres entreprises proposant des modèles à code source fermé. Pour la première fois, un modèle open source figure parmi les meilleurs résultats des classements d'évaluation standardisés. À titre d'information, tous les modèles à code source fermé (Anthropic Claude, OpenAI, Cohere, etc.) sont utilisés via des API, où les fournisseurs maintiennent l'infrastructure et vendent des frais d'utilisation (dans ce cas, l'unité de mesure est le jeton).
Dès que nous disposerons d'un modèle de qualité égale ou supérieure, utilisable librement sur notre propre matériel, la donne changera radicalement. Chaque entreprise pourra développer ses propres innovations en matière d'IA générative en interne, réduisant ainsi considérablement le coût d'inférence. Cela représente une menace sérieuse pour OpenAI, car la plupart des applications d'IA actuelles se résument à des entreprises utilisant l'API d'OpenAI (ChatGPT) et à l'intégrer à des applications aux usages très variés. Avec un modèle aussi performant que Llama 3.1, exécutable en interne, ces entreprises implémentant ces applications bénéficieront de leurs modèles à prix coûtant.
Le pouvoir du lama 3.1
Llama 3.1 représente une avancée majeure dans la modélisation du langage. Développé par Meta, ce modèle prend non seulement en charge le multilinguisme, mais bénéficie également d'avancées en matière de codage, de raisonnement et d'outillage. Avec 405 milliards de paramètres et une fenêtre contextuelle pouvant atteindre 128 000 jetons, Llama 3.1 rivalise avec les leaders du marché comme GPT-4.
L'infrastructure robuste utilisée pour entraîner Llama 3.1, qui comprend des clusters de GPU H100, garantit l'efficacité et la stabilité nécessaires au développement d'un modèle de cette envergure. De plus, Llama 3.1 est en cours d'extension pour inclure des fonctionnalités multimodales telles que la reconnaissance d'images, de vidéos et de la parole, ce qui en fait un outil encore plus puissant et polyvalent pour une variété d'applications.
Les défis d'OpenAI
D'autre part, OpenAI est confrontée à d'importants défis financiers. Selon une analyse de The Information, OpenAI pourrait perdre jusqu'à 5 milliards de dollars cette année en raison des coûts élevés de formation et d'inférence de l'IA, qui pourraient atteindre 7 milliards de dollars. De plus, les frais de personnel pourraient atteindre 1,5 milliard de dollars. Cette situation critique place OpenAI dans une position vulnérable, notamment face à la nécessité de lever davantage de capitaux au cours des 12 prochains mois.
La course au matériel
Aujourd'hui plus que jamais, la course au matériel nécessaire pour prendre en charge tout cela sera lancée. Si Nvidia domine largement ce marché, AMD, AWS, Intel et plusieurs autres développent également leurs propres puces pour l'entraînement et l'inférence. La capacité d'une entreprise à développer et à maintenir sa propre infrastructure matérielle sera un facteur crucial pour sa compétitivité sur le marché de l'IA.
Changement de paradigme
La disponibilité d'un modèle ouvert comme Llama 3.1, capable d'être exécuté en interne sur les infrastructures des entreprises, représente un changement de paradigme. Les entreprises pourront réduire considérablement leurs coûts d'inférence tout en augmentant leur capacité d'innovation en IA générative. Cela stimulera le marché des applications d'IA générative. IA, qui s'appuie actuellement fortement sur les API d'OpenAI, peut commencer à migrer vers des solutions internes plus rentables et plus efficaces.
Conclusion
En bref, Llama 3.1 promet non seulement de révolutionner le domaine des modèles de langage, mais exerce également une pression considérable sur OpenAI et les autres fournisseurs de modèles propriétaires, transformant ainsi le paysage de l'IA de manière profonde et durable. Avec l'intensification de la course au matériel, l'avenir de l'IA sera façonné à la fois par l'innovation logicielle et la prise en charge matérielle, apportant de nouveaux défis et opportunités au secteur.
