Vertaling ontbreekt; de brontekst wordt getoond. Brontekst: 简体中文

Werken · work_llama_3_1 · rev 1

Llama 3.1

Llama 3.1 是 Meta 于 2024 年 7 月 23 日发布的 Llama 3 升级版,新增 405B 尺寸与 128K 上下文。

Bijgewerkt · rev 1 · Andere namen:Llama-3.1-405B-Instruct

Llama 3.1 是 Meta 于 2024 年 7 月 23 日发布的 Llama 3 升级版,新增 405B 尺寸与 128K 上下文。[1]

发布背景

发布时上下文窗口为128K tokens,Hugging Face 模型标识为 meta-llama/Llama-3.1-405B-Instruct。[1] 三个尺寸:8B、70B、405B,均为 128K 上下文、支持 8 种语言,405B 为当时最大开源权重基础模型[1]

定价与获取

三个尺寸:8B、70B、405B,均为 128K 上下文、支持 8 种语言,405B 为当时最大开源权重基础模型。[1]

性能表现

以下为Meta公布的自家评测结果,尚未经独立复现。[1]

  • MMLU (5-shot, Instruct):87.3 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 83.6,Meta 称可与 GPT-4o、Claude 3.5 Sonnet 竞争)[1]
  • MMLU-Pro (5-shot CoT, Instruct):73.3 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 66.4)[1]
  • HumanEval (0-shot, Instruct):89.0 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 80.5)[1]
  • GSM-8K (8-shot CoT, Instruct):96.8 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 95.1)[1]

主要特点

  • 405B 在超过 15 万亿 token 上预训练,Meta 未设官方 API 定价,权重以 Llama 3.1 Community License 开放下载,第三方托管定价各异[1]
  • 新增工具调用与合成数据/蒸馏许可,随 Llama Guard 3 与 Prompt Guard 一同发布[1]

定位与后续

Llama 3(2024 年 4 月,8K 上下文)的升级版,首个 405B 前沿级开源权重模型,后继为 Llama 3.2、Llama 3.3 及 Llama 4。 其前代为Llama 3。[1]

Verken relaties

Relatiepagina →

Mentioned in

  • No body mentions yet.

Bronnen

  1. Introducing Llama 3.1: Our most capable models to date — Meta AI ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩
  2. meta-llama/Llama-3.1-405B-Instruct — Hugging Face model card
  3. meta / llama-3.1-8b-instruct — NVIDIA NIM reference