Code Llama 是 Meta 于 2023 年 8 月 24 日发布的代码特化大模型,是 Llama 2 的代码衍生系列。[1]
发布背景
发布时上下文窗口为100K tokens。[1] Meta 官方定性为 Llama 2 的代码特化版本,由 Llama 2 在代码数据集上继续训练而成,但有独立博客、论文、模型卡与 GitHub 仓库[1]
定价与获取
开源权重,沿用 Llama 2 社区许可,可免费用于研究与商业用途;训练序列为 16K tokens,官方称在最长 100K tokens 输入上仍有改进,7B/13B 基础版与 Instruct 版支持代码填空。[1]
性能表现
以下为Meta公布的自家评测结果,尚未经独立复现。[1]
- HumanEval:53.7% pass@1(Code Llama 34B)(高于 Llama 2,与 GPT-3.5(48.1%)相当)[1]
- MBPP:56.2% pass@1(Code Llama 34B)(为当时公开模型中最高之一)[1]
- HumanEval:67.8% pass@1(Code Llama 70B-Instruct)(略高于 GPT-4 的 67.0%)[1]
- MBPP:65.6% pass@1(Code Llama 70B-Python)(为该系列最高 MBPP 分数)[1]
主要特点
- 版本线为 7B/13B/34B(2023-08-24)及 70B(2024-01-29),每尺寸分基础版、Code Llama - Python 与 Code Llama - Instruct 三种变体[1]
定位与后续
Llama 2 的代码特化衍生系列,定位为开源代码生成与补全模型,后继为 Llama 3 及后续世代内置的更强代码能力,无独立的 Code Llama 3 续作。 其基础模型为Llama 2。[1]