GPT-1
URL: https://knowledge.ivjn.us/th/works/gpt-1.html

GPT-1 是 OpenAI 于 2018 年 6 月 11 日发布的首代 GPT 模型，开创了生成式预训练加判别式微调的范式。

GPT-1 是 OpenAI 于 2018 年 6 月 11 日发布的首代 GPT 模型，开创了生成式预训练加判别式微调的范式。[^s1]

## 发布背景
发布时上下文窗口为512 tokens。[^s1]
117M 参数、12 层解码器 Transformer，在约 7,000 本未出版图书组成的 BooksCorpus 上无监督预训练，上下文 512 tokens。[^s1]

## 定价与获取
属于研究发布而非商用产品，未进入 OpenAI API 定价体系；代码与模型曾公开，GPT-1 之名是后世回溯称呼，原始论文未使用该名称。[^s1]

## 性能表现
以下为OpenAI公布的自家评测结果，尚未经独立复现。[^s1]
- GLUE：72.8（高于此前最佳 68.9，提升 5.5 分）[^s1]
- Story Cloze Test：86.5% accuracy（较此前最佳 77.6% 绝对提升 8.9 个百分点）[^s1]
- RACE：59.0% accuracy（较此前最佳 53.3% 绝对提升 5.7 个百分点）[^s1]
- CoLA：45.4（高于此前最佳 35.0）[^s1]

## 主要特点
- 首创生成式预训练加判别式微调的两阶段范式，在研究的 12 项语言理解任务中有 9 项刷新此前最佳成绩。[^s1]

## 定位与后续
OpenAI GPT 系列的首个模型，开创预训练加微调路线，无 GPT 前代，其后继为 2019 年的 GPT-2。[^s1]

Updated: 2026-11-10

Relations:
- Published by: OpenAI https://knowledge.ivjn.us/th/organizations/openai.html

Mentioned in:
- GPT-2 https://knowledge.ivjn.us/th/works/gpt-2.html

Sources:
- Improving language understanding with unsupervised learning | OpenAI https://openai.com/index/language-unsupervised/
- Improving Language Understanding by Generative Pre-Training (OpenAI paper PDF) https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf?file=language_understanding_paper.pdf
- GPT-1 - Wikipedia https://en.wikipedia.org/wiki/GPT-1