GPT-2 是 OpenAI 于 2019 年 2 月 14 日发布的第二代 GPT 模型，以 15 亿参数证明零样本多任务泛化。[1]
发布背景
发布时上下文窗口为1,024 tokens。[1] 最大版本 15 亿参数（1.5B），为 GPT-1（1.17 亿参数）10 倍以上的直接放大，训练于 40GB WebText（800 万网页）[1]
定价与获取
GPT-2 以开放权重形式分阶段发布，未设 API 定价。[1]
性能表现
以下为OpenAI公布的自家评测结果，尚未经独立复现。[1]
- LAMBADA accuracy (zero-shot)：63.24%（高于此前纪录 59.23%）[1]
- Winograd Schema Challenge accuracy (zero-shot)：70.70%（高于此前纪录 63.7%）[1]
- WikiText-103 perplexity (zero-shot)：17.48（低于此前纪录 18.3，越低越好）[1]
- Children's Book Test Common Nouns accuracy (zero-shot)：93.30%（高于此前纪录 85.7%）[1]
主要特点
- 分阶段发布：2019-02-14 先发布 124M 小模型，355M 于 5 月、774M 于 8 月 20 日跟进，完整 1.5B 版直至 2019-11-05 才发布，原因是担忧滥用[1]
- 零-shot 设定下在 8 项语言建模评测中的 7 项取得当时最优，无需任务专用训练即可做问答、阅读理解、翻译与摘要[1]
定位与后续
GPT-1 的后继、GPT-3 的前代：以规模化证明零-shot 多任务泛化的开源权重研究模型，开启了 GPT 系列的规模化路线。 其前代为GPT-1。[1]