ยังไม่มีคำแปล กำลังแสดงต้นฉบับ ต้นฉบับ: 简体中文

ผลงาน · work_llama

Llama

Llama 是 Meta 于 2023 年 2 月 24 日发布的首代 Llama 基础大模型,仅用公开数据集训练。

อัปเดต · rev 1

Llama 是 Meta 于 2023 年 2 月 24 日发布的首代 Llama 基础大模型,仅用公开数据集训练。[1]

发布背景

发布时上下文窗口为2,048 tokens。[1] 7B、13B、33B、65B 四个尺寸,仅用公开数据集训练,7B/13B 为 1.0 万亿 token,33B/65B 为 1.4 万亿 token。[1]

定价与获取

非商业研究许可、逐案申请获取,非完全开源、无官方 API 与定价;仅为基础模型,未发布官方对话微调版。[1]

性能表现

以下为Meta公布的自家评测结果,尚未经独立复现。[1]

  • MMLU (5-shot, LLaMA-65B):63.4%(低于 Chinchilla-70B 的 67.5% 和 PaLM-540B 的 69.3%)[1]
  • HellaSwag (zero-shot, LLaMA-65B):84.2%(高于 PaLM-540B 的 83.4%,低于 Chinchilla-70B 在常识推理多数任务上的表现之外的一个例外)[1]
  • GSM8k (LLaMA-65B):50.9%(低于 Minerva-62B 的 52.4% 和 PaLM-540B 的 56.5%,但论文称其未做数学微调仍胜过 Minerva-62B 的多数投票外表现表述需以原文为准)[1]
  • HumanEval pass@1 (LLaMA-65B):23.7%(高于 PaLM-62B 的 15.9%,低于 PaLM-540B 的 26.2%)[1]

主要特点

  • 后继为 2023-07-18 发布的 Llama 2(7B/13B/70B),首次允许商业使用,上下文扩至 4,096 token。[1]

定位与后续

Meta Llama 系列第一代基础大模型,开创了小模型多 token 训练路线,其后继为允许商业使用的 Llama 2 及 Llama 3/4 系列。[1]

อ่านรายการที่เกี่ยวข้อง

หน้าความสัมพันธ์ →

Mentioned in

แหล่งที่มา

  1. Introducing LLaMA: A foundational, 65-billion-parameter language model — Meta AI ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩ ↩
  2. LLaMA: Open and Efficient Foundation Language Models — arXiv:2302.13971
  3. LLaMA — Hugging Face Transformers documentation (max_position_embeddings 2048)
  4. Llama (language model) — Wikipedia