Parece que fue ayer cuando escribí sobre el impacto de Llama 3.1, y ahora nos enfrentamos a otro hito significativo en inteligencia artificial con el lanzamiento de Llama 3.2 el 25 de septiembre de 2024.
Introducción
Meta acaba de anunciar Llama 3.2 , una innovación que promete transformar el panorama de la IA de visión y computación perimetral. Esta nueva versión incorpora modelos de lenguaje de visión (LLM) a gran escala de tamaño pequeño y mediano (11B y 90B), así como modelos ligeros de solo texto (1B y 3B), diseñados para adaptarse a dispositivos móviles y de computación perimetral. Disponibles en versiones preentrenadas y optimizadas para instrucciones, estos modelos ofrecen una flexibilidad y un rendimiento excepcionales para una amplia gama de aplicaciones.
Novedades de Llama 3.2
Plantillas optimizadas para dispositivos móviles y Edge
Los modelos Llama 3.2 1B y 3B ahora admiten una longitud de contexto de hasta 128K tokens , estableciendo un nuevo estándar para aplicaciones en dispositivos como:
- Recuperación y resumen de conocimientos multilingües
- Seguimiento de instrucciones
- Reescribir tareas que se ejecutan localmente
Optimizados para el hardware de procesadores Qualcomm, MediaTek y ARM, estos modelos permiten un procesamiento eficiente sin la necesidad de una infraestructura pesada.
Avances en visión artificial
Los modelos de visión Llama 3.2 11B y 90B pueden reemplazar inmediatamente sus equivalentes de texto, superando incluso a modelos cerrados como Claude 3 Haiku en tareas de comprensión de imágenes. A diferencia de otros modelos multimodales abiertos, tanto los modelos preentrenados como los alineados están disponibles para ajustes personalizados mediante torchtune , y también se pueden probar con el asistente Meta AI.
Llama Stack: Simplificando el desarrollo
Meta lanza las primeras distribuciones oficiales de Llama Stack , que simplifican significativamente la forma en que los desarrolladores trabajan con plantillas Llama en diferentes entornos:
- Nodo único
- On-premises
- En las nubes
- En el dispositivo
Esto permite la implementación llave en mano de aplicaciones de generación aumentada de recuperación (RAG) y herramientas de seguridad integradas, acelerando el tiempo de desarrollo y reduciendo la complejidad.
Asociaciones estratégicas
En colaboración con socios como AWS , Databricks, Dell, Fireworks, Infosys y Together AI , Meta está ampliando el alcance de Llama Stack a clientes empresariales. La distribución a dispositivos se gestiona mediante PyTorch ExecuTorch , mientras que la distribución en nodos individuales se facilita mediante Ollama.
La apertura que impulsa la innovación
Meta sigue compartiendo su trabajo porque cree que la transparencia impulsa la innovación . Llama 3.2 es pionera en transparencia, modificabilidad y rentabilidad, lo que permite que más personas logren avances creativos y transformadores mediante la IA generativa.
Disponibilidad
Las plantillas de Llama 3.2 están disponibles para su descarga en llama.com y Hugging Face , y también son accesibles para su desarrollo inmediato en un amplio ecosistema de plataformas asociadas, que incluyen:
- AMD
- Google Cloud
- IBM
- microsoft Azure
- NVIDIA
- Oracle Cloud
- Y muchos otros
Pensamientos finales
Parece que fue ayer cuando hablé del impacto de Llama 3.1, y ahora Llama 3.2 llega para superarnos aún más. La velocidad a la que evoluciona la tecnología es realmente impresionante. Me entusiasma ver cómo se aplicarán estos avances en diferentes industrias y cómo pueden influir positivamente en nuestros proyectos y soluciones.
