Sembra ieri che ho scritto dell'impatto di Llama 3.1, e ora ci troviamo di fronte a un'altra pietra miliare significativa nell'intelligenza artificiale con il rilascio di Llama 3.2 il 25 settembre 2024.
Introdução
Meta ha appena annunciato Llama 3.2 , un'innovazione che promette di trasformare il panorama dell'intelligenza artificiale per dispositivi edge e per la visione artificiale. Questa nuova versione introduce modelli di linguaggio visivo (LLM) su larga scala di piccole e medie dimensioni (11B e 90B) e modelli leggeri basati esclusivamente su testo (1B e 3B), progettati per adattarsi a dispositivi mobili e edge. Disponibili in versioni pre-addestrate e ottimizzate per le istruzioni, questi modelli offrono flessibilità e prestazioni eccezionali per un'ampia gamma di applicazioni.
Novità di Llama 3.2
Modelli ottimizzati per dispositivi mobili e Edge
I modelli Llama 3.2 1B e 3B ora supportano una lunghezza del contesto fino a 128 token , stabilendo un nuovo standard per le applicazioni su dispositivi come:
- Recupero e sintesi delle conoscenze multilingue
- Follow-up delle istruzioni
- Riscrivi le attività eseguite localmente
Ottimizzati per l'hardware dei processori Qualcomm, MediaTek e ARM, questi modelli consentono un'elaborazione efficiente senza la necessità di infrastrutture pesanti.
Progressi nella visione artificiale
I modelli di visione Llama 3.2 11B e 90B possono sostituire immediatamente i loro equivalenti testuali, superando persino modelli chiusi come Claude 3 Haiku nei compiti di comprensione delle immagini. A differenza di altri modelli multimodali aperti, sono disponibili modelli pre-addestrati e allineati per personalizzazioni tramite torchtune e possono essere testati anche con l'assistente Meta AI.
Llama Stack: semplificare lo sviluppo
Meta sta lanciando le prime distribuzioni ufficiali di Llama Stack , che semplificano notevolmente il modo in cui gli sviluppatori lavorano con i template Llama in diversi ambienti:
- Singolo nodo
- Locale
- Na nuovo
- Sul dispositivo
Ciò consente l'implementazione chiavi in mano di applicazioni di generazione con aumento del recupero (RAG) e di strumenti di sicurezza integrati, accelerando i tempi di sviluppo e riducendo la complessità.
Partenariati strategici
In collaborazione con partner come AWS , Databricks, Dell, Fireworks, Infosys e Together AI , Meta sta estendendo la portata di Llama Stack ai clienti aziendali. La distribuzione ai dispositivi è gestita tramite PyTorch ExecuTorch , mentre la distribuzione su singolo nodo è facilitata da Ollama.
Apertura che guida l'innovazione
Meta continua a condividere il proprio lavoro perché crede che l'apertura sia il motore dell'innovazione . Llama 3.2 è all'avanguardia in termini di apertura, modificabilità ed efficienza dei costi, consentendo a un numero maggiore di persone di raggiungere risultati creativi e rivoluzionari grazie all'intelligenza artificiale generativa.
disponibilità
I modelli Llama 3.2 sono disponibili per il download su llama.com e Hugging Face e sono inoltre accessibili per lo sviluppo immediato su un ampio ecosistema di piattaforme partner, tra cui:
- AMD
- Google cloud
- IBM
- Microsoft Azure
- NVIDIA
- Oracle Cloud
- E molti altri
Pensieri finali
Sembra ieri che ho parlato dell'impatto di Llama 3.1, e ora Llama 3.2 è qui per alzare ulteriormente l'asticella. La velocità con cui la tecnologia si evolve è davvero impressionante. Non vedo l'ora di vedere come questi progressi saranno applicati in diversi settori e come potranno influenzare positivamente i nostri progetti e le nostre soluzioni.
