Tradução indisponível; exibindo o texto original. Texto original: 简体中文

Obras · work_llama_2

Llama 2

Llama 2 是 Meta 于 2023 年 7 月 18 日发布的第二代 Llama 模型,首个开放权重且允许商用的 Llama 世代。

Atualizado · rev 1

Llama 2 是 Meta 于 2023 年 7 月 18 日发布的第二代 Llama 模型,首个开放权重且允许商用的 Llama 世代。[1]

发布背景

发布时上下文窗口为4,096 tokens。[1] 7B、13B、70B 三种尺寸,含预训练版与对话微调版 Llama 2-Chat,预训练语料 2 万亿 tokens,比 Llama 1 多 40%,上下文由 2K 翻倍至 4K tokens[1]

定价与获取

按 Llama 2 Community License 免费提供权重,可用于研究与商业用途(月活超 7 亿的产品需另行申请许可),微软为首选合作伙伴并上架 Azure AI 模型目录。[1]

性能表现

以下为Meta公布的自家评测结果,尚未经独立复现。[1]

  • MMLU (5-shot, 70B):68.9(较 Llama 1 65B 高约 5 分;接近 GPT-3.5 的 70.0)[1]
  • GSM8K (8-shot, 70B):56.8(接近 GPT-3.5 的 57.1)[1]
  • Code average, HumanEval + MBPP pass@1 (70B):37.5(论文称与 GPT-3.5 相比编码基准仍有明显差距)[1]
  • Commonsense reasoning, 7-benchmark average (70B):71.9(高于 Llama 2 13B 的 66.9 和 7B 的 63.9)[1]

主要特点

  • 34B 版本已训练但因红队测试时间不足未发布[1]

定位与后续

Llama 1(LLaMA)的继任者、Llama 3 的前代:首个开放权重且允许商用的 Llama 世代,奠定了 Meta 开放权重路线,后被 2024 年 4 月发布的 Llama 3 取代。 其前代为Llama。[1]

Explorar relações

Página de relações →

Mentioned in

Fontes

  1. Meta and Microsoft Introduce the Next Generation of Llama ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩
  2. Llama 2: Open Foundation and Fine-Tuned Chat Models
  3. Llama 2 — Hugging Face Transformers documentation
  4. Llama (language model) — Wikipedia