Terjemahan belum tersedia; teks asal dipaparkan. Teks asal: 简体中文

Karya · work_llama_3_3 · rev 1

Llama 3.3

Llama 3.3 是 Meta 于 2024 年 12 月 6 日发布的 Llama 3 系列末代 70B 纯文本模型。

Dikemas kini · rev 1 · Nama lain:Llama-3.3-70B-Instruct

Llama 3.3 是 Meta 于 2024 年 12 月 6 日发布的 Llama 3 系列末代 70B 纯文本模型。[1]

发布背景

发布时上下文窗口为128K tokens,Hugging Face 模型标识为 meta-llama/Llama-3.3-70B-Instruct。[1] 仅 70B 一个尺寸的纯文本指令微调模型,基于 Llama 3.1 70B 改进后训练技术(在线偏好优化等),预训练超 15 万亿 tokens,知识截止 2023 年 12 月,支持英、德、法、意、葡、印地、西、泰 8 种语言。[1]

定价与获取

开源权重、以 Llama 3.3 Community License 发布,Meta 不设官方按 token 定价,权重本身免费,各云厂商与推理服务商自行定价。[1]

性能表现

以下为Meta公布的自家评测结果,尚未经独立复现。[1]

  • MMLU (CoT):86.0(与 Llama 3.1 70B Instruct 持平(86.0),低于 Llama 3.1 405B Instruct(88.6))[1]
  • IFEval:92.1(高于 Llama 3.1 405B Instruct(88.6)和 Llama 3.1 70B Instruct(87.5))[1]
  • MATH (CoT):77.0(高于 Llama 3.1 405B Instruct(73.8)和 Llama 3.1 70B Instruct(68.0))[1]
  • HumanEval:88.4(略低于 Llama 3.1 405B Instruct(89.0),高于 Llama 3.1 70B Instruct(80.5))[1]

主要特点

  • 仍在各大平台广泛提供,但已被 2025 年 4 月发布的多模态 MoE 后继系列 Llama 4 取代为最新一代;AWS Bedrock 将其列为 Legacy,标注 EOL 日期为 2027 年 3 月 30 日。[1]

定位与后续

Llama 3 系列末代 70B 纯文本模型,以远小于 Llama 3.1 405B 的规模达到与其接近的性能、成本更低,随后被多模态的 Llama 4 系列接替。 其前代为Llama 3.1。[1]

Terokai hubungan

Halaman relasi →

Mentioned in

  • No body mentions yet.

Sumber

  1. Llama 3.3 Model Card — meta-llama/llama-models (GitHub) ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩
  2. Versioning, updates and migration — llama.com
  3. Meta unveils a new, more efficient Llama model — TechCrunch
  4. Llama 3.3 70B Instruct — Amazon Bedrock model card