번역이 없어 원문을 표시합니다. 원문: 简体中文

작품 · work_llama_3 · rev 1

Llama 3

Llama 3 是 Meta 于 2024 年 4 月 18 日发布的第三代 Llama 模型,首发 8B 与 70B 两种尺寸。

업데이트 · rev 1

Llama 3 是 Meta 于 2024 年 4 月 18 日发布的第三代 Llama 模型,首发 8B 与 70B 两种尺寸。[1]

发布背景

发布时上下文窗口为8,192 tokens。[1] 首发仅 8B 与 70B 两种尺寸,各有预训练版与指令微调版,纯文本、英文为主,预训练超 15 万亿 token;405B 并非原版 Llama 3,而是 2024-07-23 发布的 Llama 3.1 新增尺寸,128K 上下文亦属 Llama 3.1。[1]

定价与获取

开放权重模型,Meta 未设官方 API 定价,权重按 Llama 3 社区许可提供,可下载商用,托管推理定价由第三方云厂商自定。[1]

性能表现

以下为Meta公布的自家评测结果,尚未经独立复现。[1]

  • MMLU(5-shot,指令微调版):70B: 82.0;8B: 68.4(前代 Llama 2 70B 为 52.9,Llama 2 7B 为 34.1)[1]
  • HumanEval(0-shot,指令微调版):70B: 81.7;8B: 62.2(前代 Llama 2 70B 为 25.6,Llama 2 7B 为 7.9)[1]
  • GSM-8K(8-shot,CoT,指令微调版):70B: 93.0;8B: 79.6(前代 Llama 2 70B 为 57.5,Llama 2 7B 为 25.7)[1]
  • MATH(4-shot,CoT,指令微调版):70B: 50.4;8B: 30.0(前代 Llama 2 70B 为 11.6,Llama 2 7B 为 3.8)[1]

主要特点

  • 随发布推出 Llama Guard 2 等安全工具,并驱动 Meta AI 助手;模型卡标注为静态模型。[1]

定位与后续

Llama 2 的继任者、Meta 开放权重系列第三代,首发 8B/70B 并大幅领先同级前代,后由 Llama 3.1(新增 405B 与 128K 上下文)接续,最终由 Llama 4 接棒。 其前代为Llama 2。[1]

관련 항목 읽기

관계 페이지 →

Mentioned in

  • No body mentions yet.

출처

  1. Introducing Meta Llama 3: The most capable openly available LLM to date ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩
  2. Llama 3 Model Card
  3. Meta introduces Llama 3.1, its biggest and best open-source AI model to date
  4. Llama History: Every Meta Llama Release, 2023–2026