Het lijkt nog maar gisteren dat ik schreef over de impact van Llama 3.1, en nu staan we voor een nieuwe belangrijke mijlpaal in kunstmatige intelligentie met de release van Llama 3.2 op 25 september 2024.
Introductie
Meta heeft zojuist Llama 3.2 aangekondigd , een innovatie die de AI-wereld voor edge- en vision-toepassingen ingrijpend zal veranderen. Deze nieuwe versie biedt grootschalige visuele taalmodellen (LLM's) van klein en middelgroot formaat (11B en 90B) en lichtgewicht tekstgebaseerde modellen (1B en 3B), ontworpen om zich aan te passen aan mobiele en edge-apparaten. Deze modellen zijn beschikbaar in voorgeprogrammeerde en op instructies afgestemde versies en bieden uitzonderlijke flexibiliteit en prestaties voor een breed scala aan toepassingen.
Wat is er nieuw in Llama 3.2
Mobiele en Edge-geoptimaliseerde sjablonen
De Llama 3.2 1B- en 3B- modellen ondersteunen nu een contextlengte van maximaal 128 tokens , waarmee een nieuwe standaard wordt gezet voor toepassingen op apparaten zoals:
- Meertalige kennisopvraging en samenvatting
- Instructie follow-up
- Taken herschrijven die lokaal worden uitgevoerd
Deze modellen zijn geoptimaliseerd voor Qualcomm-, MediaTek- en ARM-processorhardware en maken efficiënte verwerking mogelijk zonder dat er een zware infrastructuur nodig is.
Vooruitgang in computer vision
De Llama 3.2 11B- en 90B -visiemodellen kunnen hun tekstuele equivalenten direct vervangen en presteren zelfs beter dan gesloten modellen zoals Claude 3 Haiku bij taken voor beeldherkenning. In tegenstelling tot andere open multimodale modellen zijn zowel voorgegetrainde als uitgelijnde modellen beschikbaar voor aanpassingen op maat met behulp van torchtune , en kunnen ze ook worden getest met de Meta AI-assistent.
Llama Stack: Ontwikkeling vereenvoudigen
Meta brengt de eerste officiële distributies van de Llama Stack uit , die het werken met Llama-templates in verschillende omgevingen voor ontwikkelaars aanzienlijk vereenvoudigen:
- Enkelvoudig knooppunt
- On-premises
- In de wolk
- Op het apparaat
Hierdoor is een kant-en-klare implementatie van RAG-toepassingen (Recovery Augmented Generation) en beveiligingsgeïntegreerde tools mogelijk, waardoor de ontwikkeltijd wordt versneld en de complexiteit wordt verminderd.
Strategische partnerschappen
In samenwerking met partners zoals AWS , Databricks, Dell, Fireworks, Infosys en Together AI breidt Meta het bereik van de Llama Stack uit naar zakelijke klanten. Distributie naar apparaten wordt afgehandeld via PyTorch ExecuTorch , terwijl distributie naar één node wordt gefaciliteerd door Ollama.
Openheid die innovatie stimuleert
Meta blijft zijn werk delen omdat het gelooft dat openheid innovatie stimuleert . Llama 3.2 is toonaangevend op het gebied van openheid, aanpasbaarheid en kostenefficiëntie, waardoor meer mensen creatieve en baanbrekende doorbraken kunnen realiseren met behulp van generatieve AI.
Beschikbaarheid
De Llama 3.2- templates zijn te downloaden via llama.com en Hugging Face , en kunnen ook direct worden gebruikt voor verdere ontwikkeling binnen een breed ecosysteem van partnerplatforms, waaronder:
- AMD
- Google Cloud
- IBM
- Microsoft Azure
- NVIDIA
- Oracle-wolk
- En vele anderen
Eindreflexen
Het lijkt nog maar gisteren dat ik de impact van Llama 3.1 besprak, en nu is er Llama 3.2 om de lat nog hoger te leggen. De snelheid waarmee technologie zich ontwikkelt is werkelijk indrukwekkend. Ik ben benieuwd hoe deze ontwikkelingen in verschillende sectoren zullen worden toegepast en hoe ze onze projecten en oplossingen positief kunnen beïnvloeden.
