Инновации с открытыми весами
Выпуск новейшей модели LLM с открытым весом от Meta, Llama 3.1, может вызвать беспокойство у OpenAI и ряда других компаний, использующих модели с закрытым исходным кодом. Впервые модель с открытым исходным кодом вошла в число лидеров рейтингов стандартизированной оценки. Для справки, все модели с закрытым исходным кодом (Anthropic Claude, OpenAI, Cohere и т. д.) используются через API, где поставщики поддерживают инфраструктуру и взимают плату за использование (в данном случае единицей измерения является токен).
Как только у нас появится модель такого же или более высокого качества, которую можно будет свободно использовать на нашем собственном оборудовании, всё кардинально изменится. Каждая компания сможет разрабатывать собственные инновации в области генеративного ИИ собственными силами, что значительно снизит стоимость вывода. Это создаёт серьёзную угрозу для OpenAI, поскольку большинство приложений ИИ, которые мы видим сегодня, представляют собой не что иное, как компании, использующие API OpenAI (ChatGPT) и встраивающие его в приложения для самых разных целей. С такой хорошей моделью, как Llama 3.1, которую можно запустить собственными силами, эти компании, внедряющие эти приложения, будут получать свои модели по себестоимости.
Сила ламы 3.1
Llama 3.1 представляет собой значительный прорыв в языковом моделировании. Разработанная Meta, эта модель не только поддерживает многоязычие, но и отличается передовыми технологиями кодирования, логического вывода и инструментального обеспечения. Благодаря 405 миллиардам параметров и контекстному окну до 128 000 токенов, Llama 3.1 не уступает лидерам рынка, таким как GPT-4.
Надежная инфраструктура, используемая для обучения Llama 3.1, включающая кластеры графических процессоров H100, обеспечивает эффективность и стабильность, необходимые для разработки модели такого масштаба. Более того, Llama 3.1 расширяется за счет включения мультимодальных возможностей, таких как распознавание изображений, видео и речи, что делает ее еще более мощным и универсальным инструментом для самых разных приложений.
Проблемы OpenAI
С другой стороны, OpenAI сталкивается с серьёзными финансовыми проблемами. Согласно анализу The Information, в этом году OpenAI может потерять до 5 миллиардов долларов из-за высоких затрат на обучение и анализ ИИ, которые могут достичь 7 миллиардов долларов. Кроме того, расходы на персонал могут достичь 1,5 миллиарда долларов. Эта критическая ситуация ставит OpenAI в уязвимое положение, особенно учитывая необходимость привлечения дополнительного капитала в течение следующих 12 месяцев.
Гонка за оборудованием
Сейчас, как никогда ранее, гонка за аппаратное обеспечение для поддержки всего этого разгорится. Хотя Nvidia, безусловно, является лидером на этом рынке, AMD, AWS, Intel и ряд других компаний также разрабатывают собственные чипы для обучения и вывода. Способность компании разрабатывать и поддерживать собственную аппаратную инфраструктуру станет решающим фактором её конкурентоспособности на рынке ИИ.
Смена парадигмы
Появление открытой модели, такой как Llama 3.1, которая может работать внутри корпоративных инфраструктур, представляет собой смену парадигмы. Компании смогут значительно сократить затраты на вывод данных, одновременно расширяя свой потенциал для инноваций в области генеративного ИИ. Это будет способствовать развитию рынка приложений генеративного ИИ. IA, которая в настоящее время активно использует API OpenAI, может начать переход на более экономичные и эффективные внутренние решения.
Заключение
Короче говоря, Llama 3.1 не только обещает произвести революцию в области языковых моделей, но и оказывает значительное давление на OpenAI и других поставщиков моделей с закрытым исходным кодом, кардинально и долгосрочно меняя ландшафт ИИ. В условиях усиливающейся гонки за аппаратное обеспечение будущее ИИ будет определяться как программными инновациями, так и поддержкой аппаратного обеспечения, что создаёт новые вызовы и возможности для отрасли.
