翻訳がないため、原文を表示しています。 原文: 简体中文

作品 · work_llama_3_2

Llama 3.2

Llama 3.2 是 Meta 于 2024 年 9 月 25 日发布的 Llama 轻量与视觉分支,是首批视觉多模态 Llama 模型。

更新日 · rev 1

Llama 3.2 是 Meta 于 2024 年 9 月 25 日发布的 Llama 轻量与视觉分支,是首批视觉多模态 Llama 模型。[1]

发布背景

发布时上下文窗口为128K tokens。[1] 1B 与 3B 为轻量纯文本模型,经剪枝与蒸馏自 Llama 3.1 8B/70B 而来,面向端侧与移动设备,支持 8 种语言,预训练约 9T tokens、知识截止 2024 年 12 月前(2023 年 12 月)。[1]

定价与获取

开源权重,可在 llama.com 与 Hugging Face 免费下载,Meta 未设官方按 token 计价的 API 定价,故定价与 API 标识填 null。[1]

性能表现

以下为Meta公布的自家评测结果,尚未经独立复现。[1]

  • MMLU (5-shot, instruction-tuned):63.4 (Llama 3.2 3B-Instruct; 49.3 for 1B-Instruct) —(低于 Llama 3.1 8B-Instruct 的 69.4 —)[1]
  • GSM8K (CoT, 8-shot, instruction-tuned):77.7 (Llama 3.2 3B-Instruct; 44.4 for 1B-Instruct) —(低于 Llama 3.1 8B-Instruct 的 84.5 —)[1]
  • IFEval (instruction following, instruction-tuned):77.4 (Llama 3.2 3B-Instruct; 59.5 for 1B-Instruct) —(接近 Llama 3.1 8B-Instruct 的 80.4 —)[1]
  • MATH (CoT, instruction-tuned):48.0 (Llama 3.2 3B-Instruct; 30.6 for 1B-Instruct) —(低于 Llama 3.1 8B-Instruct 的 51.9 —)[1]

主要特点

  • 同系列 11B 与 90B 为 Llama 首批视觉多模态模型,支持图像理解、图表解读与图像描述等任务。[1]

定位与后续

Llama 3.1 的轻量与视觉分支,后继为 2024 年 12 月的 Llama 3.3 与 2025 年 4 月的 Llama 4,主打端侧部署与首批视觉能力而非旗舰性能。 其前代为Llama 3.1。[1]

関連項目を読む

関係ページ →

Mentioned in

  • No body mentions yet.

出典

  1. Llama 3.2: Revolutionizing edge AI and vision with open, customizable models — Meta AI ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩
  2. meta / llama-3.2-3b-instruct — NVIDIA NIM model card (Meta Llama 3.2 model card)
  3. meta-llama/Llama-3.2-3B-Instruct — Hugging Face