Chưa có bản dịch; hiển thị bản gốc. Bản gốc: 简体中文

Tác phẩm · work_llama_4_scout

Llama 4 Scout

Llama 4 Scout 是 Meta 于 2025 年 4 月 5 日发布的 Llama 4 家族轻量多模态模型,上下文达 10M token。

Cập nhật · rev 1 · Tên khác:Llama-4-Scout-17B-16E-Instruct

Llama 4 Scout 是 Meta 于 2025 年 4 月 5 日发布的 Llama 4 家族轻量多模态模型,上下文达 10M token。[1]

发布背景

发布时上下文窗口为10M tokens,Hugging Face 模型标识为 meta-llama/Llama-4-Scout-17B-16E-Instruct。[1] Llama 4 家族的轻量多模态 MoE 模型:17B 激活参数、109B 总参数、16 个专家,10M token 上下文,原生支持文本与图像输入,支持 12 种语言,预训练约 40T token,知识截止 2024 年 8 月,Int4 量化后可装入单张 H100。[1]

定价与获取

开源权重、以 Llama 4 Community License 发布(非开源许可证),Meta 官方不提供托管 API 定价,故定价填 null;第三方托管商定价各异,未采用。[1]

性能表现

以下为Meta公布的自家评测结果,尚未经独立复现。[1]

  • MMMU (instruction-tuned):69.4(Llama 3.3 70B 无多模态支持,Maverick 为 73.4)[1]
  • MMLU Pro (instruction-tuned):74.3(高于 Llama 3.1 405B 的 73.4 和 Llama 3.3 70B 的 68.9,低于 Maverick 的 80.5)[1]
  • GPQA Diamond (instruction-tuned):57.2(高于 Llama 3.3 70B 的 50.5,低于 Maverick 的 69.8)[1]
  • LiveCodeBench (instruction-tuned):32.8(略低于 Llama 3.3 70B 的 33.3,低于 Maverick 的 43.4)[1]

主要特点

  • 与同日发布的 Maverick(17B 激活、400B 总参数、1M 上下文)为姊妹模型;两者均源自未发布的约 2T 参数教师模型 Behemoth(288B 激活),其中 Maverick 由 Behemoth 共蒸馏而来,Scout 为从头训练,Behemoth 至今未公开发布。[1]

定位与后续

Llama 4 家族中面向效率与超长上下文的开源权重继任者(前代为 Llama 3.3 70B),与高性能的 Maverick 同级发布,仍是 Meta 迄今最新的开源 Llama 模型,但 Meta 自 2026 年 4 月起已将自有产品旗舰转向专有的 Muse Spark 系列。 其前代为Llama 3.3。[1]

Khám phá liên kết

Trang quan hệ →

Mentioned in

  • No body mentions yet.

Nguồn

  1. Versioning, updates and migration | Meta Llama docs ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩
  2. Llama 4 Scout — llama.online
  3. Llama 4 — AI Glossary (Scout, Maverick, Behemoth)
  4. Meta Llama 4: Scout, Maverick, Specs and Release Date — flozic.ai