{
  "contentStorage": "postgres",
  "title": "GPT-1 · Versions",
  "description": "GPT-1 是 OpenAI 于 2018 年 6 月 11 日发布的首代 GPT 模型，开创了生成式预训练加判别式微调的范式。",
  "url": "/en/works/gpt-1/versions.html",
  "entity": {
    "id": "work_gpt_1",
    "type": "work",
    "title": "GPT-1",
    "slug": "gpt-1",
    "summary": "GPT-1 是 OpenAI 于 2018 年 6 月 11 日发布的首代 GPT 模型，开创了生成式预训练加判别式微调的范式。",
    "status": "published",
    "categories": [
      "category-science-technology"
    ],
    "tags": [],
    "sources": [
      {
        "id": "s1",
        "title": "Improving language understanding with unsupervised learning | OpenAI",
        "url": "https://openai.com/index/language-unsupervised/"
      },
      {
        "id": "s2",
        "title": "Improving Language Understanding by Generative Pre-Training (OpenAI paper PDF)",
        "url": "https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf?file=language_understanding_paper.pdf"
      },
      {
        "id": "s3",
        "title": "GPT-1 - Wikipedia",
        "url": "https://en.wikipedia.org/wiki/GPT-1"
      }
    ],
    "createdAt": "2026-11-10T15:04:48+08:00",
    "updatedAt": "2026-11-10T15:04:48+08:00",
    "updatedBy": "user:admin",
    "revision": 1,
    "body": "GPT-1 是 OpenAI 于 2018 年 6 月 11 日发布的首代 GPT 模型，开创了生成式预训练加判别式微调的范式。[^s1]\n\n## 发布背景\n发布时上下文窗口为512 tokens。[^s1]\n117M 参数、12 层解码器 Transformer，在约 7,000 本未出版图书组成的 BooksCorpus 上无监督预训练，上下文 512 tokens。[^s1]\n\n## 定价与获取\n属于研究发布而非商用产品，未进入 OpenAI API 定价体系；代码与模型曾公开，GPT-1 之名是后世回溯称呼，原始论文未使用该名称。[^s1]\n\n## 性能表现\n以下为OpenAI公布的自家评测结果，尚未经独立复现。[^s1]\n- GLUE：72.8（高于此前最佳 68.9，提升 5.5 分）[^s1]\n- Story Cloze Test：86.5% accuracy（较此前最佳 77.6% 绝对提升 8.9 个百分点）[^s1]\n- RACE：59.0% accuracy（较此前最佳 53.3% 绝对提升 5.7 个百分点）[^s1]\n- CoLA：45.4（高于此前最佳 35.0）[^s1]\n\n## 主要特点\n- 首创生成式预训练加判别式微调的两阶段范式，在研究的 12 项语言理解任务中有 9 项刷新此前最佳成绩。[^s1]\n\n## 定位与后续\nOpenAI GPT 系列的首个模型，开创预训练加微调路线，无 GPT 前代，其后继为 2019 年的 GPT-2。[^s1]",
    "url": "/works/gpt-1.html",
    "lang": "en",
    "sourceLang": "zh",
    "fallback": true,
    "availableLangs": [
      "zh"
    ],
    "workKind": "ai_model"
  },
  "entities": null,
  "versions": [
    {
      "revision": 1,
      "updatedAt": "2026-11-10T15:04:48+08:00",
      "message": "当前版本",
      "hasSnapshot": true,
      "url": "/en/works/gpt-1/at/1.html"
    }
  ],
  "lang": "en",
  "availableLangs": [
    "zh"
  ],
  "fallback": true,
  "infoFields": [
    {
      "key": "work_kind",
      "label": "Work kind",
      "value": "AI model"
    }
  ],
  "pagination": {
    "page": 1,
    "pageSize": 50,
    "total": 1,
    "pageCount": 1
  }
}