Llama 3.2 是 Meta 于 2024 年 9 月 25 日发布的 Llama 轻量与视觉分支,是首批视觉多模态 Llama 模型。[1]
发布背景
发布时上下文窗口为128K tokens。[1] 1B 与 3B 为轻量纯文本模型,经剪枝与蒸馏自 Llama 3.1 8B/70B 而来,面向端侧与移动设备,支持 8 种语言,预训练约 9T tokens、知识截止 2024 年 12 月前(2023 年 12 月)。[1]
定价与获取
开源权重,可在 llama.com 与 Hugging Face 免费下载,Meta 未设官方按 token 计价的 API 定价,故定价与 API 标识填 null。[1]
性能表现
以下为Meta公布的自家评测结果,尚未经独立复现。[1]
- MMLU (5-shot, instruction-tuned):63.4 (Llama 3.2 3B-Instruct; 49.3 for 1B-Instruct) —(低于 Llama 3.1 8B-Instruct 的 69.4 —)[1]
- GSM8K (CoT, 8-shot, instruction-tuned):77.7 (Llama 3.2 3B-Instruct; 44.4 for 1B-Instruct) —(低于 Llama 3.1 8B-Instruct 的 84.5 —)[1]
- IFEval (instruction following, instruction-tuned):77.4 (Llama 3.2 3B-Instruct; 59.5 for 1B-Instruct) —(接近 Llama 3.1 8B-Instruct 的 80.4 —)[1]
- MATH (CoT, instruction-tuned):48.0 (Llama 3.2 3B-Instruct; 30.6 for 1B-Instruct) —(低于 Llama 3.1 8B-Instruct 的 51.9 —)[1]
主要特点
- 同系列 11B 与 90B 为 Llama 首批视觉多模态模型,支持图像理解、图表解读与图像描述等任务。[1]
定位与后续
Llama 3.1 的轻量与视觉分支,后继为 2024 年 12 月的 Llama 3.3 与 2025 年 4 月的 Llama 4,主打端侧部署与首批视觉能力而非旗舰性能。 其前代为Llama 3.1。[1]