Llama 3.1 URL: https://knowledge.ivjn.us/en/works/llama-3-1.html Llama 3.1 是 Meta 于 2024 年 7 月 23 日发布的 Llama 3 升级版,新增 405B 尺寸与 128K 上下文。 Llama 3.1 是 Meta 于 2024 年 7 月 23 日发布的 Llama 3 升级版,新增 405B 尺寸与 128K 上下文。[^s1] ## 发布背景 发布时上下文窗口为128K tokens,Hugging Face 模型标识为 meta-llama/Llama-3.1-405B-Instruct。[^s1] 三个尺寸:8B、70B、405B,均为 128K 上下文、支持 8 种语言,405B 为当时最大开源权重基础模型[^s1] ## 定价与获取 三个尺寸:8B、70B、405B,均为 128K 上下文、支持 8 种语言,405B 为当时最大开源权重基础模型。[^s1] ## 性能表现 以下为Meta公布的自家评测结果,尚未经独立复现。[^s1] - MMLU (5-shot, Instruct):87.3 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 83.6,Meta 称可与 GPT-4o、Claude 3.5 Sonnet 竞争)[^s1] - MMLU-Pro (5-shot CoT, Instruct):73.3 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 66.4)[^s1] - HumanEval (0-shot, Instruct):89.0 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 80.5)[^s1] - GSM-8K (8-shot CoT, Instruct):96.8 (405B Instruct)(高于 Llama 3.1 70B Instruct 的 95.1)[^s1] ## 主要特点 - 405B 在超过 15 万亿 token 上预训练,Meta 未设官方 API 定价,权重以 Llama 3.1 Community License 开放下载,第三方托管定价各异[^s1] - 新增工具调用与合成数据/蒸馏许可,随 Llama Guard 3 与 Prompt Guard 一同发布[^s1] ## 定位与后续 Llama 3(2024 年 4 月,8K 上下文)的升级版,首个 405B 前沿级开源权重模型,后继为 Llama 3.2、Llama 3.3 及 Llama 4。 其前代为[Llama 3](https://knowledge.ivjn.us/en/works/llama-3.html)。[^s1] Updated: 2026-11-10 Relations: - Published by: Meta https://knowledge.ivjn.us/en/organizations/meta.html Mentioned in: - Llama 3.2 https://knowledge.ivjn.us/en/works/llama-3-2.html - Llama 3.3 https://knowledge.ivjn.us/en/works/llama-3-3.html Sources: - Introducing Llama 3.1: Our most capable models to date — Meta AI https://ai.meta.com/blog/meta-llama-3-1/ - meta-llama/Llama-3.1-405B-Instruct — Hugging Face model card https://huggingface.co/meta-llama/Llama-3.1-405B-Instruct?local-app=vllm - meta / llama-3.1-8b-instruct — NVIDIA NIM reference https://docs.api.nvidia.com/nim/reference/meta-llama-3_1-8b