GPT-3 是 OpenAI 于 2020 年 6 月 11 日发布的第三代 GPT 模型，以 1750 亿参数确立少样本学习范式。[1]
发布背景
发布时上下文窗口为2,048 tokens，API 标识为 davinci。[1] 1750 亿参数的自回归语言模型，96 层、2048 token 上下文，训练约 3000 亿 token，核心能力为无需梯度更新的少样本上下文学习[1]
定价与获取
每百万 token 输入 20 美元、输出 20 美元（历史价：2022 年 9 月降价后 Davinci 为 0.02 美元/千 token，输入输出同价；最初为 0.06 美元/千 token，即每百万 60 美元）。[1]
性能表现
以下为OpenAI公布的自家评测结果，尚未经独立复现。[1]
- LAMBADA（few-shot）：86.4%（高于此前最优水平 68.0%）[1]
- TriviaQA 闭卷问答（few-shot）：71.2%（高于微调模型 T5-11B 的 50.1%）[1]
- CoQA 阅读理解（few-shot）：85.0 F1（接近微调模型的最优水平）[1]
主要特点
- 权重从未公开，仅通过 API 提供，旗下有 ada、babbage、curie、davinci 四档引擎，davinci 为最强档[1]
- 2020 年 9 月 22 日微软获得 GPT-3 独家授权；原始 GPT-3 模型于 2024 年 1 月 4 日随 Completions API 旧模型一并退役[1]
定位与后续
GPT 系列第三代，接替 GPT-2，以少样本学习确立大模型范式，后继为经指令微调的 InstructGPT、GPT-3.5 及 GPT-4 其前代为GPT-2。[1]