---
{
  "availableLangs": [
    "zh"
  ],
  "categories": [
    "category-science-technology"
  ],
  "createdAt": "2026-11-10T15:04:48+08:00",
  "fallback": true,
  "id": "work_gpt_1",
  "lang": "ms",
  "revision": 1,
  "slug": "gpt-1",
  "sourceLang": "zh",
  "sources": [
    {
      "id": "s1",
      "title": "Improving language understanding with unsupervised learning | OpenAI",
      "url": "https://openai.com/index/language-unsupervised/"
    },
    {
      "id": "s2",
      "title": "Improving Language Understanding by Generative Pre-Training (OpenAI paper PDF)",
      "url": "https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf?file=language_understanding_paper.pdf"
    },
    {
      "id": "s3",
      "title": "GPT-1 - Wikipedia",
      "url": "https://en.wikipedia.org/wiki/GPT-1"
    }
  ],
  "status": "published",
  "summary": "GPT-1 是 OpenAI 于 2018 年 6 月 11 日发布的首代 GPT 模型，开创了生成式预训练加判别式微调的范式。",
  "tags": [],
  "title": "GPT-1",
  "type": "work",
  "updatedAt": "2026-11-10T15:04:48+08:00",
  "updatedBy": "user:admin",
  "workKind": "ai_model"
}
---

# GPT-1

GPT-1 是 OpenAI 于 2018 年 6 月 11 日发布的首代 GPT 模型，开创了生成式预训练加判别式微调的范式。

GPT-1 是 OpenAI 于 2018 年 6 月 11 日发布的首代 GPT 模型，开创了生成式预训练加判别式微调的范式。[^s1]

## 发布背景
发布时上下文窗口为512 tokens。[^s1]
117M 参数、12 层解码器 Transformer，在约 7,000 本未出版图书组成的 BooksCorpus 上无监督预训练，上下文 512 tokens。[^s1]

## 定价与获取
属于研究发布而非商用产品，未进入 OpenAI API 定价体系；代码与模型曾公开，GPT-1 之名是后世回溯称呼，原始论文未使用该名称。[^s1]

## 性能表现
以下为OpenAI公布的自家评测结果，尚未经独立复现。[^s1]
- GLUE：72.8（高于此前最佳 68.9，提升 5.5 分）[^s1]
- Story Cloze Test：86.5% accuracy（较此前最佳 77.6% 绝对提升 8.9 个百分点）[^s1]
- RACE：59.0% accuracy（较此前最佳 53.3% 绝对提升 5.7 个百分点）[^s1]
- CoLA：45.4（高于此前最佳 35.0）[^s1]

## 主要特点
- 首创生成式预训练加判别式微调的两阶段范式，在研究的 12 项语言理解任务中有 9 项刷新此前最佳成绩。[^s1]

## 定位与后续
OpenAI GPT 系列的首个模型，开创预训练加微调路线，无 GPT 前代，其后继为 2019 年的 GPT-2。[^s1]

更新时间：2026-11-10

## 标签


## 关系

- Published by：[OpenAI](/ms/organizations/openai.html) 

## 正文反向链接

- [GPT-2](/ms/works/gpt-2.html)

## 来源

- Improving language understanding with unsupervised learning | OpenAI：https://openai.com/index/language-unsupervised/ 
- Improving Language Understanding by Generative Pre-Training (OpenAI paper PDF)：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf?file=language_understanding_paper.pdf 
- GPT-1 - Wikipedia：https://en.wikipedia.org/wiki/GPT-1