GPT-1 是 OpenAI 于 2018 年 6 月 11 日发布的首代 GPT 模型，开创了生成式预训练加判别式微调的范式。[1]
发布背景
发布时上下文窗口为512 tokens。[1] 117M 参数、12 层解码器 Transformer，在约 7,000 本未出版图书组成的 BooksCorpus 上无监督预训练，上下文 512 tokens。[1]
定价与获取
属于研究发布而非商用产品，未进入 OpenAI API 定价体系；代码与模型曾公开，GPT-1 之名是后世回溯称呼，原始论文未使用该名称。[1]
性能表现
以下为OpenAI公布的自家评测结果，尚未经独立复现。[1]
- GLUE：72.8（高于此前最佳 68.9，提升 5.5 分）[1]
- Story Cloze Test：86.5% accuracy（较此前最佳 77.6% 绝对提升 8.9 个百分点）[1]
- RACE：59.0% accuracy（较此前最佳 53.3% 绝对提升 5.7 个百分点）[1]
- CoLA：45.4（高于此前最佳 35.0）[1]
主要特点
- 首创生成式预训练加判别式微调的两阶段范式，在研究的 12 项语言理解任务中有 9 项刷新此前最佳成绩。[1]
定位与后续
OpenAI GPT 系列的首个模型，开创预训练加微调路线，无 GPT 前代，其后继为 2019 年的 GPT-2。[1]