GPT-2
URL: https://knowledge.ivjn.us/it/works/gpt-2.html

GPT-2 是 OpenAI 于 2019 年 2 月 14 日发布的第二代 GPT 模型，以 15 亿参数证明零样本多任务泛化。

GPT-2 是 OpenAI 于 2019 年 2 月 14 日发布的第二代 GPT 模型，以 15 亿参数证明零样本多任务泛化。[^s1]

## 发布背景
发布时上下文窗口为1,024 tokens。[^s1]
最大版本 15 亿参数（1.5B），为 GPT-1（1.17 亿参数）10 倍以上的直接放大，训练于 40GB WebText（800 万网页）[^s1]

## 定价与获取
GPT-2 以开放权重形式分阶段发布，未设 API 定价。[^s1]

## 性能表现
以下为OpenAI公布的自家评测结果，尚未经独立复现。[^s1]
- LAMBADA accuracy (zero-shot)：63.24%（高于此前纪录 59.23%）[^s1]
- Winograd Schema Challenge accuracy (zero-shot)：70.70%（高于此前纪录 63.7%）[^s1]
- WikiText-103 perplexity (zero-shot)：17.48（低于此前纪录 18.3，越低越好）[^s1]
- Children's Book Test Common Nouns accuracy (zero-shot)：93.30%（高于此前纪录 85.7%）[^s1]

## 主要特点
- 分阶段发布：2019-02-14 先发布 124M 小模型，355M 于 5 月、774M 于 8 月 20 日跟进，完整 1.5B 版直至 2019-11-05 才发布，原因是担忧滥用[^s1]
- 零-shot 设定下在 8 项语言建模评测中的 7 项取得当时最优，无需任务专用训练即可做问答、阅读理解、翻译与摘要[^s1]

## 定位与后续
GPT-1 的后继、GPT-3 的前代：以规模化证明零-shot 多任务泛化的开源权重研究模型，开启了 GPT 系列的规模化路线。 其前代为[GPT-1](https://knowledge.ivjn.us/it/works/gpt-1.html)。[^s1]

Updated: 2026-11-10

Relations:
- Published by: OpenAI https://knowledge.ivjn.us/it/organizations/openai.html

Mentioned in:
- GPT-3 https://knowledge.ivjn.us/it/works/gpt-3.html

Sources:
- Better language models and their implications — OpenAI https://openai.com/index/better-language-models/
- GPT-2: 1.5B release — OpenAI https://openai.com/index/gpt-2-1-5b-release/
- GPT-2: 6-month follow-up — OpenAI https://openai.com/index/gpt-2-6-month-follow-up/
- GPT-2 — Wikipedia https://en.wikipedia.org/wiki/GPT-2