仿佛就在昨天，我写了关于 Llama 3.1 的影响，而现在，随着 2024 年 9 月 25 日发布的 Llama 3.2，我们又迎来了人工智能的另一个重要里程碑。
介绍
Meta 刚刚发布了Llama 3.2，这项创新有望彻底改变边缘和视觉 AI 的格局。新版本带来了大规模视觉语言模型 (LLM)，包括小型和中型模型（11 字节和 90 字节）以及轻量级纯文本模型（1 字节和 3 字节），旨在适应移动和边缘设备。这些模型提供预训练版本和指令调优版本，为各种应用场景提供了卓越的灵活性和性能。
Llama 3.2 中的新功能
移动和 Edge 优化模板
Llama 3.2 1B 和 3B型号现在支持高达128K 个令牌的上下文长度，为以下设备上的应用程序树立了新的标准：
- 多语言知识检索与总结
- 指导跟进
- 重写本地运行的任务
这些模型针对高通、联发科和 ARM 处理器硬件进行了优化，无需繁重的基础设施即可实现高效处理。
计算机视觉的进步
Llama 3.2 11B 和 90B视觉模型可以立即替代其对应的文本模型，在图像理解任务中甚至优于 Claude 3 Haiku 等封闭模型。与其他开源多模态模型不同，这些模型的预训练版本和已对齐版本均可使用torchtune进行自定义调整，并且还可以使用 Meta AI 助手进行测试。
Llama Stack：简化开发
Meta 即将推出Llama Stack的首个官方发行版，这将大大简化开发人员在不同环境中使用 Llama 模板的方式：
- 单节点
- 本地
- 努韦姆
- 在设备上
这使得恢复增强生成 (RAG) 应用程序和安全集成工具的交钥匙实施成为可能，从而加快了开发时间并降低了复杂性。
战略合作伙伴关系
Meta 与AWS、Databricks、Dell、Fireworks、Infosys和Together AI等合作伙伴携手，正在将 Llama Stack 的应用范围扩展到企业客户。设备分发通过PyTorch ExecuTorch实现，而单节点分发则由Ollama提供支持。
开放推动创新
Meta之所以持续分享其成果，是因为它坚信开放性能够推动创新。Llama 3.2在开放性、可修改性和成本效益方面处于领先地位，使更多人能够利用生成式人工智能取得创造性和变革性的突破。
可用性
Llama 3.2模板可在llama.com和Hugging Face下载，也可在广泛的合作伙伴平台生态系统中立即使用，包括：
- AMD
- Google Cloud
- IBM
- Microsoft Azure
- NVIDIA公司
- Oracle云
- 还有很多其他人
最后的想法
我昨天才刚刚讨论过 Llama 3.1 的影响，而现在 Llama 3.2 的到来又将标准提升到了一个新的高度。技术发展的速度确实令人印象深刻。我迫不及待地想看到这些进步将如何应用于不同的行业，以及如何对我们的项目和解决方案产生积极的影响。
