Llama 3.3 是 Meta 于 2024 年 12 月 6 日发布的 Llama 3 系列末代 70B 纯文本模型。[1]
发布背景
发布时上下文窗口为128K tokens,Hugging Face 模型标识为 meta-llama/Llama-3.3-70B-Instruct。[1] 仅 70B 一个尺寸的纯文本指令微调模型,基于 Llama 3.1 70B 改进后训练技术(在线偏好优化等),预训练超 15 万亿 tokens,知识截止 2023 年 12 月,支持英、德、法、意、葡、印地、西、泰 8 种语言。[1]
定价与获取
开源权重、以 Llama 3.3 Community License 发布,Meta 不设官方按 token 定价,权重本身免费,各云厂商与推理服务商自行定价。[1]
性能表现
以下为Meta公布的自家评测结果,尚未经独立复现。[1]
- MMLU (CoT):86.0(与 Llama 3.1 70B Instruct 持平(86.0),低于 Llama 3.1 405B Instruct(88.6))[1]
- IFEval:92.1(高于 Llama 3.1 405B Instruct(88.6)和 Llama 3.1 70B Instruct(87.5))[1]
- MATH (CoT):77.0(高于 Llama 3.1 405B Instruct(73.8)和 Llama 3.1 70B Instruct(68.0))[1]
- HumanEval:88.4(略低于 Llama 3.1 405B Instruct(89.0),高于 Llama 3.1 70B Instruct(80.5))[1]
主要特点
- 仍在各大平台广泛提供,但已被 2025 年 4 月发布的多模态 MoE 后继系列 Llama 4 取代为最新一代;AWS Bedrock 将其列为 Legacy,标注 EOL 日期为 2027 年 3 月 30 日。[1]
定位与后续
Llama 3 系列末代 70B 纯文本模型,以远小于 Llama 3.1 405B 的规模达到与其接近的性能、成本更低,随后被多模态的 Llama 4 系列接替。 其前代为Llama 3.1。[1]