Кажется, только вчера я писал о влиянии Llama 3.1, а теперь мы стоим на пороге еще одной важной вехи в развитии искусственного интеллекта с выходом Llama 3.2 25 сентября 2024 года.
Введение
Компания Meta только что анонсировала Llama 3.2 — инновацию, которая обещает изменить ландшафт периферийного и компьютерного ИИ. В этой новой версии представлены крупномасштабные языковые модели для обработки компьютерного зрения (LLM) малого и среднего размера (11 и 90 байт), а также облегченные текстовые модели (1 и 3 байта), разработанные для адаптации к мобильным и периферийным устройствам. Доступные в предварительно обученных и оптимизированных для конкретных задач версиях, эти модели обеспечивают исключительную гибкость и производительность для широкого спектра приложений.
Что нового в Llama 3.2
Шаблоны, оптимизированные для мобильных устройств и Edge
Модели Llama 3.2 1B и 3B теперь поддерживают длину контекста до 128 000 токенов , устанавливая новый стандарт для приложений на таких устройствах, как:
- Многоязычный поиск и обобщение знаний
- Выполнение инструкций
- Переписать задачи, выполняемые локально
Эти модели, оптимизированные для процессоров Qualcomm, MediaTek и ARM, обеспечивают эффективную обработку без необходимости использования сложной инфраструктуры.
Достижения в области компьютерного зрения
Модели обработки изображений Llama 3.2 11B и 90B способны мгновенно заменять текстовые эквиваленты, превосходя даже закрытые модели, такие как Claude 3 Haiku, в задачах понимания изображений. В отличие от других открытых мультимодальных моделей, как предварительно обученные, так и выровненные модели доступны для индивидуальной настройки с помощью torchtune , а также могут быть протестированы с помощью помощника Meta AI.
Llama Stack: упрощение разработки
Компания Meta запускает первые официальные дистрибутивы Llama Stack , которые значительно упрощают работу разработчиков с шаблонами Llama в различных средах:
- Одноузловой
- On-помещения
- в облаке
- На устройстве
Это позволяет реализовать готовую реализацию приложений расширенной генерации восстановления (RAG) и интегрированных в систему безопасности инструментов, ускоряя время разработки и снижая сложность.
Стратегическое партнерство
В сотрудничестве с такими партнерами, как AWS , Databricks, Dell, Fireworks, Infosys и Together AI , Meta расширяет доступ к Llama Stack для корпоративных клиентов. Распространение на устройства осуществляется через PyTorch ExecuTorch , а распространение на отдельные узлы — через Ollama.
Открытость, движущая инновациями
Компания Meta продолжает делиться результатами своей работы, поскольку верит, что открытость стимулирует инновации . Llama 3.2 занимает лидирующие позиции в области открытости, возможности модификации и экономической эффективности, позволяя большему числу людей совершать творческие и революционные прорывы с помощью генеративного ИИ.
доступность
Шаблоны Llama 3.2 доступны для скачивания на сайтах llama.com и Hugging Face , а также для немедленной разработки на широкой экосистеме партнерских платформ, включая:
- AMD
- Google Cloud
- IBM
- Microsoft Azure
- NVIDIA
- Oracle Cloud
- И многие другие
Последние мысли
Кажется, только вчера я рассказывал о влиянии Llama 3.1, а теперь Llama 3.2 готова поднять планку ещё выше. Скорость развития технологий поистине впечатляет. Мне не терпится увидеть, как эти достижения будут применяться в различных отраслях и как они смогут положительно повлиять на наши проекты и решения.
