Llama 3.1 是 Meta 于 2024 年 7 月 23 日发布的 Llama 3 升级版,新增 405B 尺寸与 128K 上下文。[1]
发布背景
发布时上下文窗口为128K tokens,Hugging Face 模型标识为 meta-llama/Llama-3.1-405B-Instruct。[1] 三个尺寸:8B、70B、405B,均为 128K 上下文、支持 8 种语言,405B 为当时最大开源权重基础模型[1]
定价与获取
三个尺寸:8B、70B、405B,均为 128K 上下文、支持 8 种语言,405B 为当时最大开源权重基础模型。[1]
性能表现
以下为Meta公布的自家评测结果,尚未经独立复现。[1]
- MMLU (5-shot, Instruct):87.3 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 83.6,Meta 称可与 GPT-4o、Claude 3.5 Sonnet 竞争)[1]
- MMLU-Pro (5-shot CoT, Instruct):73.3 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 66.4)[1]
- HumanEval (0-shot, Instruct):89.0 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 80.5)[1]
- GSM-8K (8-shot CoT, Instruct):96.8 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 95.1)[1]
主要特点
- 405B 在超过 15 万亿 token 上预训练,Meta 未设官方 API 定价,权重以 Llama 3.1 Community License 开放下载,第三方托管定价各异[1]
- 新增工具调用与合成数据/蒸馏许可,随 Llama Guard 3 与 Prompt Guard 一同发布[1]
定位与后续
Llama 3(2024 年 4 月,8K 上下文)的升级版,首个 405B 前沿级开源权重模型,后继为 Llama 3.2、Llama 3.3 及 Llama 4。 其前代为Llama 3。[1]