DeepSeek-V2:
Strong, Economical, Efficient

在过去几年中，大型语言模型（LLMs）（OpenAI, 2022; OpenAI, 2023; Anthropic, 2023; Google, 2023）经历了快速发展，为人工通用智能（AGI）的曙光提供了瞥见。一般来说，LLM的智能往往随着参数数量的增加而提高，使其在各种任务中展现出涌现能力(Wei等人, 2022)。然而，这种改进是以更大的训练计算资源和推理吞吐量可能下降为代价的。这些约束带来了重大挑战，阻碍了LLMs的广泛采用和利用。为了解决这个问题，我们引入了DeepSeek-V2，一个强大的开源混合专家（MoE）语言模型，通过创新的Transformer架构实现经济训练和高效推理。它总共有236B参数，其中每个token激活21B，并支持128K token的上下文长度。

我们优化了Transformer框架内的注意力模块和前馈网络（FFNs）（Vaswani等人，2017）与我们提出的多头潜在注意力（MLA）和DeepSeekMoE。(1) 在注意力 机制中，多头注意力（MHA）的键值（KV）缓存（Vaswani等人， 2017）对LLM的推理效率构成了重大障碍。已经探索了各种方法来解决这个问题， 包括分组查询注意力（GQA）（Ainslie等人，2023）和 多查询注意力（MQA）（Shazeer，2019）. 然而，这些方法在尝试减少KV缓存时往往会牺牲性能。为了两全其美，我们引入了MLA，一种配备低秩键值联合压缩的注意力机制。实验证明，MLA相比MHA取得了更优的性能，同时显著减少了推理过程中的KV缓存，从而提升了推理效率。(2) 对于前馈网络（FFNs），我们遵循DeepSeekMoE架构（Dai等人，2024），该架构采用细粒度专家分割和共享专家隔离，以提升专家专业化的潜力。DeepSeekMoE架构相比传统MoE架构（如GShard（Lepikhin等人，2021））展现出巨大优势，使我们能够以经济成本训练强大的模型。由于我们在训练过程中采用专家并行，我们还设计了补充机制来控制通信开销并确保负载均衡。通过结合这两种技术，DeepSeek-V2同时具备了强大的性能（图1）、经济的训练成本和高效的推理吞吐量（图1）。

我们构建了一个高质量、多来源的预训练语料库，包含8.1T个词元。与DeepSeek 67B（我们之前的版本）使用的语料库相比(DeepSeek-AI, 2024)，该语料库的特点是数据量更大，尤其是中文数据，且数据质量更高。我们首先在完整的预训练语料库上预训练DeepSeek-V2。然后，我们收集了150万个对话会话，涵盖数学、代码、写作、推理、安全等多个领域，以对DeepSeek-V2 Chat (SFT)进行监督微调（SFT）。最后，我们遵循DeepSeekMath(Shao et al., 2024)，采用组相对策略优化（GRPO）进一步使模型与人类偏好对齐，并生成DeepSeek-V2 Chat (RL)。

我们在英语和中文的广泛基准上评估DeepSeek-V2，并与代表性的开源模型进行比较。评估结果显示，即使仅激活21B参数，DeepSeek-V2在开源模型中仍达到顶级性能，成为最强的开源MoE语言模型。图1强调，在MMLU上，DeepSeek-V2仅用少量激活参数就达到了顶尖性能。此外，如图1所示，与DeepSeek 67B相比，DeepSeek-V2节省了42.5%的训练成本，将KV缓存减少了93.3%，并将最大生成吞吐量提升至5.76倍。我们还评估了DeepSeek-V2 Chat (SFT)和DeepSeek-V2 Chat (RL)在开放式基准上的表现。值得注意的是，DeepSeek-V2 Chat (RL)在AlpacaEval 2.0上实现了38.9的长度控制胜率。(Dubois等人，2024)，在MT-Bench上总体得分为8.97(Zheng等人， 2023)，在AlignBench上总体得分为7.91(Liu等人，2023)。 英文开放式对话评估表明，DeepSeek-V2 Chat (RL)在开源聊天模型中具有顶级性能。此外，AlignBench上的评估表明，在中文方面， DeepSeek-V2 Chat (RL)优于所有开源模型，甚至 超过大多数闭源模型。

为了促进对MLA和 DeepSeekMoE的进一步研究和发展，我们还向开源社区发布了DeepSeek-V2-Lite，这是一个配备 MLA和DeepSeekMoE的较小模型。它总共有 15.7B参数，其中每个token激活2.4B。关于DeepSeek-V2-Lite的详细 描述可以在附录 B 中找到.

在本文的其余部分，我们首先详细描述 DeepSeek-V2的模型架构（第2节）。 随后，我们介绍我们的预训练工作，包括 训练数据构建、超参数设置、基础设施、 长上下文扩展，以及模型性能和效率的评估（第3节）。 接下来，我们展示我们在对齐方面的努力，包括 监督微调（SFT）、强化学习（RL）、 评估结果和其他讨论（第4 节）。最后，我们总结 结论，深思DeepSeek-V2当前的局限性，并 概述我们的未来工作（第5 节）。

总的来说，DeepSeek-V2仍然采用Transformer 架构（Vaswani等人， 2017年），其中每个Transformer块包含一个注意力 模块和一个前馈网络（FFN）。然而，对于注意力 模块和FFN，我们都设计并采用了创新的架构。对于 注意力，我们设计了MLA，它利用低秩键值联合 压缩来消除推理时键值 缓存的瓶颈，从而支持高效推理。对于FFN，我们采用 DeepSeekMoE架构（Dai等人，2024年），这是一种高性能 的MoE架构，能够以经济 的成本训练强大的模型。DeepSeek-V2架构的图示见 图2，我们将在本节介绍 MLA和DeepSeekMoE的细节。对于其他微小的细节（例如，层 归一化和FFN中的激活函数），除非特别 说明，DeepSeek-V2遵循DeepSeek 67B的设置（DeepSeek-AI，2024年）.

传统的Transformer模型通常采用多头注意力（MHA）（Vaswani等人，2017），但在生成过程中，其庞大的键值（KV）缓存将成为限制推理效率的瓶颈。为了减少KV缓存，提出了多查询注意力（MQA）（Shazeer，2019）和分组查询注意力（GQA）（Ainslie等人，2023）。它们需要更小规模的KV缓存，但其性能不如MHA（我们在附录 D.1 中提供了 MHA、GQA和MQA的消融实验).

对于DeepSeek-V2，我们设计了一种创新的注意力机制，称为多头潜在注意力（MLA）。通过低秩键值联合压缩，MLA在性能上优于MHA，但所需的KV缓存量显著减少。我们在下文中介绍其架构，并在附录 D.2 中提供 MLA与MHA的比较.

我们首先介绍标准的MHA机制作为背景。设$d$为嵌入维度，$n_h$为注意力头数，$d_h$为每个头的维度，且$\mathbf{h}_{t} \in \mathbb{R}^{d}$为注意力层中第$t$个令牌的注意力输入。标准MHA首先通过三个矩阵$\mathbf{q}_{t}, \mathbf{k}_{t}, \mathbf{v}_{t} \in \mathbb{R}^{d_h n_h}$分别产生$W^{Q}, W^{K}, W^{V} \in \mathbb{R}^{d_h n_h \times d}$：然后，$\mathbf{q}_{t}, \mathbf{k}_{t}, \mathbf{v}_{t}$将被切分为$n_h$个头以进行多头注意力计算：其中$\mathbf{q}_{t, i}, \mathbf{k}_{t, i}, \mathbf{v}_{t, i} \in \mathbb{R}^{d_h}$分别表示第$i$个注意力头的查询、键和值；$W^{O} \in \mathbb{R}^{d \times d_h n_h}$表示输出投影矩阵。在推理过程中，所有键和 值都需要被缓存以加速推理，因此MHA需要为每个 token缓存$2 n_{h} d_{h} l$个元素。在模型部署中，这种沉重的KV缓存是一个很大的瓶颈， 限制了最大批处理大小和序列长度。

MLA的核心是键和值的低秩联合压缩， 以减少KV缓存：其中$\mathbf{c}_{t}^{KV} \in \mathbb{R}^{d_c}$是键和值的压缩潜在向量；$d_c (\ll d_h n_h)$表示KV压缩维度；$W^{DKV} \in \mathbb{R}^{d_c \times d}$是下投影矩阵；而$W^{UK},W^{UV} \in \mathbb{R}^{d_h n_h \times d_c}$分别是键和值的上投影矩阵。在推理过程中，MLA只需缓存$\mathbf{c}_{t}^{KV}$，因此其KV缓存仅有$d_{c}l$个元素，其中$l$表示层数。此外，在推理过程中，由于$W^{UK}$可以被吸收到$W^{Q}$中，而$W^{UV}$可以被吸收到$W^{O}$中，我们甚至无需为注意力计算键和值。图3直观地展示了MLA中KV联合压缩如何减少KV缓存。

此外，为了减少训练期间的激活内存，我们还对查询进行了低秩压缩，即使这不能减少KV缓存：其中$\mathbf{c}_{t}^{Q} \in \mathbb{R}^{d_c^{\prime}}$是查询的压缩潜在向量；$d_c^{\prime} (\ll d_h n_h)$表示查询压缩维度；$W^{DQ} \in \mathbb{R}^{d_c^{\prime} \times d}, W^{UQ} \in \mathbb{R}^{d_h n_h \times d_c^{\prime}}$分别是查询的下投影和上投影矩阵。

继DeepSeek 67B(DeepSeek-AI, 2024)之后，我们打算使用旋转位置嵌入（RoPE）（Su等人，2024）用于DeepSeek-V2。 然而，RoPE与低秩KV压缩不兼容。具体来说，RoPE对键和查询都是位置敏感的。如果我们对键应用RoPE$\mathbf{k}_{t}^{C}$, $W^{UK}$在公式10中， 将与位置敏感的RoPE矩阵耦合。这样，$W^{UK}$在推理过程中就无法再被吸收到$W^{Q}$中， 因为与当前生成令牌相关的RoPE矩阵将位于$W^{Q}$和$W^{UK}$之间，而矩阵乘法不满足交换律。因此，我们必须在推理过程中重新计算所有前缀令牌的键，这将显著阻碍推理效率。

作为解决方案，我们提出了解耦RoPE策略，该策略使用额外的多头查询$\mathbf{q}_{t, i}^{R} \in \mathbb{R}^{d_h^R}$以及一个共享的键$\mathbf{k}_{t}^{R} \in \mathbb{R}^{d_h^R}$用于携带 RoPE，其中$d_h^R$表示 解耦查询和键的每头维度。借助 解耦的 RoPE 策略，MLA 执行以下计算：其中$W^{QR} \in \mathbb{R}^{d_h^R n_h \times d_c^{\prime}}$和$W^{KR} \in \mathbb{R}^{d_h^R \times d}$分别是用于生成解耦查询和键的矩阵；$\operatorname{RoPE}(\cdot)$表示 应用 RoPE 矩阵的操作；而$[\cdot;\cdot]$表示拼接 操作。在推理过程中，解耦的键也需要被缓存。 因此，DeepSeek-V2 需要总共包含$(d_{c} + d_h^R)l$个元素的 KV 缓存。

为了展示 MLA 的完整计算过程，我们 还在附录 C 中整理并给出了其完整公式.

我们在表1中展示了不同注意力机制下每个token的KV缓存比较。MLA仅需要少量KV缓存，相当于只有2.25组的GQA，但能实现比MHA更强的性能。

对于前馈网络，我们采用DeepSeekMoE架构（Dai等人，2024）。 DeepSeekMoE有两个关键思想：将专家细粒度分割，以实现更高的专家专业化和更准确的知识获取，并隔离一些共享专家以缓解路由专家之间的知识冗余。在激活和总专家参数数量相同的情况下，DeepSeekMoE可以优于传统MoE架构，如GShard(Lepikhin等人，2021)以较大 优势。

设$\mathbf{u}_{t}$为第$t$个token的FFN 输入，我们计算 FFN输出$\mathbf{h}_{t}^{\prime}$如下：其中$N_{s}$和$N_r$分别表示 共享专家和路由专家的数量；$\operatorname{FFN}^{(s)}_{i}(\cdot)$和$\operatorname{FFN}^{(r)}_{i}(\cdot)$表示第$i$个共享专家和第$i$个路由专家， 分别；$K_{r}$表示 激活的路由专家数量；$g_{i,t}$是第$i$个专家的门控值；$s_{i,t}$是令牌到专家的亲和度；$\mathbf{e}_{i}$是第$i$个路由专家在本 层的质心；而$\operatorname{Topk}(\cdot, K)$表示包含$K$在计算出的亲和力分数中，第$t$个令牌与所有路由专家之间的最高分数。

我们设计了一种设备限制路由机制，以限制与MoE相关的通信成本。当采用专家并行时，路由专家将分布在多个设备上。对于每个令牌，其与MoE相关的通信频率与其目标专家覆盖的设备数量成正比。由于DeepSeekMoE中细粒度的专家分割，激活的专家数量可能很大，因此如果应用专家并行，与MoE相关的通信将更加昂贵。

对于DeepSeek-V2，除了简单的路由专家top-K选择外，我们还额外确保每个令牌的目标专家分布在最多$M$个设备上。具体来说，对于每个令牌，我们首先选择$M$个具有最高亲和力分数的专家所在的设备。然后，在这$M$个设备上对专家进行top-K选择。在实践中，我们发现当$M \geqslant 3$时，设备限制路由可以实现与无限制top-K路由大致相当的良好性能。

我们考虑了自动学习路由策略中的负载均衡。首先，负载不均衡会增加路由崩溃的风险（Shazeer等人，2017），导致一些专家无法得到充分训练和利用。其次，当采用专家并行时，负载不均衡会降低计算效率。在训练DeepSeek-V2的过程中，我们设计了三种辅助损失，分别用于控制专家级负载均衡（$\mathcal{L}_{\mathrm{ExpBal}}$）、设备级负载均衡（$\mathcal{L}_{\mathrm{DevBal}}$）和通信均衡（$\mathcal{L}_{\mathrm{CommBal}}$）。

我们使用专家级均衡损失（Fedus等人，2021；Lepikhin等人，2021）来缓解路由崩溃的风险：其中$\alpha_1$是一个称为专家级平衡因子的超参数；$\mathds{1}(\cdot)$表示指示 函数；而$T$表示序列中 的令牌数量。

除了专家级平衡损失之外，我们还额外设计 了设备级平衡损失，以确保不同设备之间的计算平衡。在DeepSeek-V2的训练过程中，我们将所有路由专家划分为$D$组$\{\mathcal{E}_1, \mathcal{E}_2, ..., \mathcal{E}_D \}$，并将每组部署在单个设备上。 设备级平衡损失的计算如下：其中$\alpha_{2}$是一个称为 设备级平衡因子的超参数。

最后，我们引入了一种通信平衡损失，以确保每个设备的通信是平衡的。尽管设备限制路由机制保证了每个设备发送的通信量是有界的，但如果某个设备接收的令牌多于其他设备，实际通信效率也会受到影响。为了缓解这个问题，我们设计了一种通信平衡损失，如下所示：其中$\alpha_{3}$是一个称为通信平衡因子的超参数。设备限制路由机制的工作原理是确保每个设备最多向其他设备传输$MT$个隐藏状态。同时，采用通信平衡损失来鼓励每个设备从其他设备接收大约$MT$个隐藏状态。通信平衡损失保证了设备之间信息的均衡交换，促进了高效的通信。

虽然平衡损失旨在鼓励负载均衡，但重要的是要认识到它们不能保证严格的负载均衡。为了进一步缓解由负载不均衡引起的计算浪费，我们在训练过程中引入了一种设备级令牌丢弃策略。该方法首先计算每个设备的平均计算预算，这意味着每个设备的容量因子等于1.0。然后，受Riquelme等人（2021）的启发，我们在每个设备上丢弃亲和力得分最低的令牌，直到达到计算预算。此外，我们确保属于大约10%训练序列的令牌永远不会被丢弃。通过这种方式，我们可以根据效率要求灵活决定在推理过程中是否丢弃令牌，并始终确保训练和推理之间的一致性。

在保持与DeepSeek 67B相同的数据处理阶段的同时(DeepSeek-AI，2024)，我们扩展了数据量并提升了数据质量。 为了扩大预训练语料库，我们探索了 互联网数据的潜力并优化了清洗流程，从而恢复了 大量被误删的数据。此外，我们加入了更多 中文数据，旨在更好地利用中文互联网上可用的 语料。除了数据量，我们还关注 数据质量。我们用来自各种来源的高质量 数据丰富了预训练语料库，同时改进了基于质量的 过滤算法。改进后的算法确保大量 无益数据将被移除，而有价值的数据将 大部分被保留。此外，我们从预训练语料库中过滤掉有争议的 内容，以减轻特定区域文化引入的数据偏差。 关于此过滤策略影响的详细讨论见附录E.

我们采用了与DeepSeek 67B相同的分词器，该分词器基于 字节级字节对编码（BBPE）算法构建，词汇量 大小为100K。我们的分词预训练语料库包含8.1T 个词元，其中中文词元比英文词元大约多12%。

我们将Transformer层数设置为60，隐藏 维度设置为5120。所有可学习参数均以 0.006的标准差随机初始化。在MLA中，我们将注意力头数设置为$n_h$至 128，且 每头维度$d_h$至 128。 KV 压缩维度$d_c$设置为 512，查询压缩维度$d_c^{\prime}$设置为 1536。对于 解耦的查询和键，我们将每头维度$d_h^R$设置为 64。遵循Dai et al. (2024)，我们 将除第一层外的所有 FFN 替换为 MoE 层。每个 MoE 层由 2 个共享专家和 160 个路由专家组成，其中 每个专家的中间隐藏维度为 1536。在路由 专家中，每个 token 将激活 6 个专家。此外， 低秩压缩和细粒度专家分割将影响 层的输出规模。因此，在实践中，我们在压缩潜在向量之后 采用额外的 RMS Norm 层，并在宽度瓶颈（即 压缩潜在向量和路由专家的中间隐藏状态）处乘以 额外的缩放因子，以确保稳定训练。在此配置下， DeepSeek-V2 总参数为 236B，其中每个 token 激活 21B。

我们采用 AdamW 优化器(Loshchilov and Hutter, 2019)，其中 超参数设置为$\beta_1=0.9$, $\beta_2=0.95$，以及$\mathrm{weight\_decay}=0.1$。学习 率采用预热和步进衰减策略进行调度（DeepSeek-AI，2024）。 最初，学习率在前2K步内从0线性增加到最大值。随后，在训练约60%的token后，学习率乘以0.316，在训练约90%的token后再次乘以0.316。最大学习率设置为$2.4 \times 10^{-4}$，并且 梯度裁剪范数设置为1.0。我们还使用批量大小 调度策略，在前225B个token的训练中，批量大小从2304逐渐增加到9216，然后在剩余训练中保持 9216。我们将最大序列长度设置为 4K，并在8.1T个token上训练DeepSeek-V2。我们利用流水线 并行将模型的不同层部署在不同的设备上， 对于每一层，路由专家将均匀部署在8个 设备上（$D=8$）。至于 设备限制路由，每个token最多发送到3个设备 （$M=3$）。至于平衡损失，我们 将$\alpha_{1}$设置为0.003，$\alpha_{2}$设置为0.05，以及$\alpha_{3}$到0.02。我们在训练期间采用令牌丢弃策略以加速，但在评估时不丢弃任何令牌。

DeepSeek-V2基于HAI-LLM框架进行训练（High-flyer，2023），这是我们工程师内部开发的一个高效且轻量的训练框架。它采用了16路零气泡流水线并行（Qi等人，2023）、8路专家并行（Lepikhin等人，2021）以及ZeRO-1数据并行（Rajbhandari等人，2020）. 鉴于DeepSeek-V2激活参数相对较少，且部分算子被重计算以节省激活内存，因此可以在无需张量并行的情况下进行训练，从而减少通信开销。此外，为了进一步提高训练效率，我们将共享专家的计算与专家并行的全对全通信重叠。我们还为通信、路由算法以及跨专家的融合线性计算定制了更快的CUDA内核。另外，MLA也基于FlashAttention-2的改进版本进行了优化(Dao, 2023).

我们在配备NVIDIA H800 GPU的集群上进行了所有实验。H800集群中的每个节点包含8个GPU，节点内通过NVLink和NVSwitch连接。节点间使用InfiniBand互连以促进通信。

在DeepSeek-V2的初始预训练之后，我们采用YaRN(Peng et al., 2023)将默认上下文窗口长度从4K扩展到128K。YaRN专门应用于解耦的共享键$\mathbf{k}^R_t$，因为它负责携带RoPE(Su et al., 2024). 对于YaRN，我们将缩放比例$s$设为40，$\alpha$设为1，$\beta$设为32，目标最大上下文长度设为160K。在这些设置下，我们可以预期模型在128K的上下文长度下表现良好。与原始YaRN略有不同，由于我们独特的注意力机制，我们调整了长度缩放因子以调节注意力熵。因子$\sqrt{t}$计算为$\sqrt{t} = 0.0707 \ln{s} + 1$，旨在最小化困惑度。

我们另外训练模型1000步，序列长度为32K，批量大小为576个序列。尽管训练仅在32K的序列长度下进行，但模型在128K的上下文长度下评估时仍表现出稳健的性能。如图4所示，“大海捞针”（NIAH）测试的结果表明，DeepSeek-V2在高达128K的所有上下文窗口长度下均表现良好。

DeepSeek-V2 在双语语料库上进行预训练，因此我们在英语和中文的一系列基准测试上对其进行评估。我们的评估基于集成在我们 HAI-LLM 框架中的内部评估框架。所包含的基准测试分类如下，其中带下划线的基准测试为中文：

多学科多项选择数据集包括 MMLU(Hendrycks 等人， 2020), C-Eval (黄等人, 2023)，以及CMMLU (Li等人，2023).

语言理解与推理数据集 包括HellaSwag(Zellers 等人，2019)、PIQA(Bisk等人，2020)、ARC(Clark等人，2018)以及BigBench Hard (BBH)(Suzgun等 人。, 2022).

闭卷问答数据集包括 TriviaQA(Joshi et al., 2017)和 NaturalQuestions(Kwiatkowski et al., 2019).

阅读理解数据集包括 RACE(Lai et al., 2017), DROP(Dua et al., 2019), C3 （Sun等人， 2019年），以及CMRC （Cui等人，2019年）.

参考消歧数据集包括WinoGrande（Sakaguchi 等人，2019年）和CLUEWSC （Xu等人，2020年）.

语言建模数据集包括Pile(Gao等人, 2020).

中文理解与文化数据集包括CHID （Zheng等人，2019年）和CCPM (Li等人，2021).

数学数据集包括GSM8K(Cobbe等人, 2021)，MATH(Hendrycks等人，2021)，以及CMath (Wei等人，2023).

代码数据集包括HumanEval（Chen等人，2021）， MBPP(（Austin等人）, 2021)和CRUXEval（Gu等人， 2024）.

标准化考试包括AGIEval （Zhong等人，2023）. 注意 AGIEval 包含英文和中文子集。

继我们之前的工作(DeepSeek-AI, 2024)之后，我们采用 基于困惑度的评估方法用于包括 HellaSwag、PIQA、 WinoGrande、RACE-Middle、RACE-High、MMLU、ARC-Easy、ARC-Challenge、CHID、 C-Eval、CMMLU、C3 和 CCPM 在内的数据集，并采用基于生成的评估方法用于 TriviaQA、NaturalQuestions、DROP、MATH、GSM8K、HumanEval、MBPP、 CRUXEval、BBH、AGIEval、CLUEWSC、CMRC 和 CMath。此外，我们 对 Pile-test 进行基于语言模型的评估，并使用 Bits-Per-Byte (BPB) 作为指标，以确保在不同分词器的模型之间进行公平比较。

为了直观了解这些基准，我们 还在附录 G 中提供了各基准的评估格式.

在表2中，我们将DeepSeek-V2与几个具有代表性的开源模型进行了比较，包括DeepSeek 67B(DeepSeek-AI, 2024)（我们之前的版本），Qwen1.5 72B(Bai et al., 2023)，LLaMA3 70B(AI@Meta, 2024)，以及Mixtral 8x22B(Mistral, 2024)。我们使用内部评估框架对所有模型进行评估，并确保它们共享相同的评估设置。总体而言，仅激活21B参数，DeepSeek-V2在几乎所有基准测试中显著优于DeepSeek 67B，并在开源模型中达到顶级性能。

此外，我们逐一详细比较了DeepSeek-V2与其开源对应模型。（1）与同样支持中英文的Qwen1.5 72B相比，DeepSeek-V2在大多数英语、代码和数学基准测试中展现出压倒性优势。在中文基准测试中，Qwen1.5 72B在多学科选择题任务上表现更好，而DeepSeek-V2在其他任务上相当或更好。注意，对于CHID基准，Qwen1.5 72B的分词器在我们的评估框架中会遇到错误，因此我们为Qwen1.5 72B留空CHID分数。（2）与Mixtral 8x22B相比，DeepSeek-V2在英语性能上相当或更好，除了与英语常识知识密切相关的TriviaQA、NaturalQuestions和HellaSwag。值得注意的是，DeepSeek-V2在MMLU上优于Mixtral 8x22B。在代码和数学基准上，DeepSeek-V2与Mixtral 8x22B表现相当。由于Mixtral 8x22B未专门针对中文数据进行训练，其中文能力远落后于DeepSeek-V2。（3）与LLaMA3 70B相比，DeepSeek-V2训练的英语token不到其四分之一。因此，我们承认DeepSeek-V2在基础英语能力上与LLaMA3 70B仍有微小差距。然而，即使训练token和激活参数少得多，DeepSeek-V2在代码和数学能力上仍与LLaMA3 70B相当。此外，作为双语语言模型，DeepSeek-V2在中文基准测试上大幅优于LLaMA3 70B。

最后，值得一提的是，某些先前的研究(Hu等人, 2024)在预训练阶段加入SFT数据，而DeepSeek-V2在预训练期间从未接触过SFT数据。

由于DeepSeek-V2对每个token激活的参数更少，且所需的FLOPs少于DeepSeek 67B，理论上训练DeepSeek-V2将比训练DeepSeek 67B更经济。尽管训练MoE模型会引入额外的通信开销，但通过我们的算子与通信优化，DeepSeek-V2的训练可以达到较高的模型FLOPs利用率（MFU）。在我们H800集群的实际训练中，每训练一万亿token，DeepSeek 67B需要300.6K GPU小时，而DeepSeek-V2仅需172.8K GPU小时，即稀疏的DeepSeek-V2相比稠密的DeepSeek 67B可节省42.5%的训练成本。

为了高效部署DeepSeek-V2服务，我们首先将其参数转换为FP8精度。此外，我们还对DeepSeek-V2进行KV缓存量化（Hooper等人，2024；Zhao等人，2023），以进一步将其KV缓存中的每个元素平均压缩到6比特。得益于MLA和这些优化，实际部署的DeepSeek-V2所需的KV缓存远少于DeepSeek 67B，因此可以服务更大的批处理大小。我们基于实际部署的DeepSeek 67B服务的提示和生成长度分布来评估DeepSeek-V2的生成吞吐量。在配备8块H800 GPU的单节点上，DeepSeek-V2的生成吞吐量超过每秒50K tokens，是DeepSeek 67B最大生成吞吐量的5.76倍。此外，DeepSeek-V2的提示输入吞吐量超过每秒100K tokens。

基于我们先前的研究(DeepSeek-AI, 2024)，我们整理了指令微调数据集，包含150万条实例，其中120万条用于有用性，30万条用于安全性。与初始版本相比，我们提高了数据质量以减少幻觉响应并增强写作能力。我们对DeepSeek-V2进行了2个周期的微调，学习率设置为$5 \times 10^{-6}$。对于DeepSeek-V2 Chat (SFT)的评估，我们主要采用基于生成的基准测试，除了几个代表性的多项选择任务（MMLU和ARC）。我们还进行了指令遵循评估（IFEval）(Zhou et al., 2023)，针对DeepSeek-V2 Chat (SFT)，使用提示级宽松准确率作为指标。此外，我们使用了2023年9月1日至2024年4月1日期间的LiveCodeBench(Jain et al., 2024)问题来评估聊天模型。除了标准基准测试外，我们还在开放式对话基准测试上进一步评估我们的模型，包括MT-Bench(Zheng et al., 2023), AlpacaEval 2.0(Dubois et al., 2024)和 AlignBench(Liu et al., 2023)。为了进行比较，我们 还在我们的评估框架和设置中评估了 Qwen1.5 72B Chat、LLaMA-3-70B Instruct 和 Mistral-8x22B Instruct。至于 DeepSeek 67B Chat，我们直接参考了之前发布中报告的评估结果。

为了进一步释放 DeepSeek-V2 的潜力并使其与 人类偏好对齐，我们进行了强化学习 (RL) 来调整其偏好。

为了节省 RL 的训练成本，我们采用了组相对 策略优化 (GRPO)(Shao et al., 2024)，它放弃了通常与策略模型大小相同的评论家模型，而是从组分数中估计基线。具体来说，对于每个问题$q$，GRPO采样一组输出$\{o_1, o_2, \cdots, o_G\}$来自旧策略$\pi_{\theta_{old}}$，然后通过最大化以下目标来优化策略模型$\pi_{\theta}$： 其中$\varepsilon$和$\beta$是超参数；而$A_i$是优势，使用每组内输出对应的奖励组$\{r_1, r_2, \ldots, r_G\}$计算得出：

在我们的初步实验中，我们发现对推理数据（如代码和数学提示）进行强化学习训练表现出与一般数据训练不同的独特特征。例如，我们模型的数学和编码能力可以在更长的训练步骤中持续提升。因此，我们采用两阶段强化学习训练策略，首先进行推理对齐，然后进行人类偏好对齐。在第一阶段推理对齐中，我们训练一个奖励模型$RM_{reasoning}$用于代码和数学推理任务，并根据$RM_{reasoning}$ 的反馈优化策略模型：在第二阶段人类偏好对齐中，我们采用多奖励框架，从有用性奖励模型$RM_{helpful}$、安全性奖励模型$RM_{safety}$以及基于规则的奖励模型$RM_{rule}$获取奖励。响应$o_i$的最终奖励为，其中$c_1$, $c_2$和$c_3$是对应的系数。

为了获得在强化学习训练中发挥关键作用的可靠奖励模型，我们仔细收集偏好数据，并精心进行质量过滤和比例调整。我们基于编译器反馈获得代码偏好数据，并基于真实标签获得数学偏好数据。对于奖励模型的训练，我们使用DeepSeek-V2 Chat（SFT）初始化奖励模型，并使用点式或成对损失进行训练。在我们的实验中，我们观察到强化学习训练可以充分挖掘并激活我们模型的潜力，使其能够从可能的回答中选择正确且令人满意的答案。

在超大规模模型上进行强化学习训练对训练框架提出了很高的要求。它需要仔细的工程优化来管理GPU内存和RAM压力，同时保持快速的训练速度。为此，我们实施了以下工程优化。（1）首先，我们提出了一种混合引擎，分别对训练和推理采用不同的并行策略，以实现更高的GPU利用率。（2）其次，我们利用vLLM(Kwon等人， 2023)作为我们的推理后端，并使用大批量大小来加速推理速度。（3）第三，我们精心设计了一种将模型卸载到CPU并加载回GPU的调度策略，这在训练速度和内存消耗之间实现了接近最优的平衡。

标准基准上的评估。最初，我们在标准基准上评估DeepSeek-V2 Chat（SFT）和DeepSeek-V2 Chat（RL）。值得注意的是，与基础版本相比，DeepSeek-V2 Chat（SFT）在GSM8K、MATH和HumanEval评估中表现出显著的改进。这一进步归因于我们包含的SFT数据，其中包含大量数学和代码相关内容。此外，DeepSeek-V2 Chat（RL）进一步提升了数学和代码基准的性能。我们在附录 F 中展示了更多代码与数学评测.

至于与其他模型的比较，我们首先将DeepSeek-V2 Chat（SFT）与Qwen1.5 72B Chat进行比较，发现DeepSeek-V2 Chat（SFT）在几乎所有英语、数学和代码基准测试上均超越Qwen1.5 72B Chat。在中文基准测试上，DeepSeek-V2 Chat（SFT）在多学科多项选择任务上的得分略低于Qwen1.5 72B Chat，这与它们基础版本的表现一致。与最先进的开源MoE模型Mixtral 8x22B Instruct相比，DeepSeek-V2 Chat（SFT）在大多数基准测试上表现更优，但NaturalQuestions和IFEval除外。此外，与最先进的开源模型LLaMA3 70B Chat相比，DeepSeek-V2 Chat（SFT）在代码和数学相关基准测试上表现相似。LLaMA3 70B Chat在MMLU和IFEval上表现更佳，而DeepSeek-V2 Chat（SFT）在中文任务上表现更强。最终，DeepSeek-V2 Chat（RL）在数学和编码任务上的性能相比DeepSeek-V2 Chat（SFT）进一步提升。这些比较凸显了DeepSeek-V2 Chat在各种领域和语言中相对于其他语言模型的优势。

开放式生成评估。我们继续对模型在开放式对话基准上的表现进行额外评估。对于英文开放式对话生成，我们使用MT-Bench和AlpacaEval 2.0作为基准。表4中的评估结果显示，DeepSeek-V2 Chat (RL)相比DeepSeek-V2 Chat (SFT)具有显著的性能优势。这一结果展示了我们的RL训练在实现更好对齐方面的有效性。与其他开源模型相比，DeepSeek-V2 Chat (RL)在两个基准上都表现出优于Mistral 8x22B Instruct和Qwen1.5 72B Chat的性能。与LLaMA3 70B Instruct相比，DeepSeek-V2 Chat (RL)在MT-Bench上表现出竞争力，并在AlpacaEval 2.0上显著超越。这些结果凸显了DeepSeek-V2 Chat (RL)在生成高质量且上下文相关的响应方面的强大性能，特别是在基于指令的对话任务中。

此外，我们基于AlignBench评估了中文开放式生成能力。如表5, DeepSeek-V2 Chat (RL) 在性能上略优于 DeepSeek-V2 Chat (SFT)。值得注意的是，DeepSeek-V2 Chat (SFT) 以显著优势超越了所有开源中文模型。在中文推理和语言方面，它明显优于排名第二的开源模型 Qwen1.5 72B Chat。此外，DeepSeek-V2 Chat (SFT) 和 DeepSeek-V2 Chat (RL) 都优于 GPT-4-0613 和 ERNIEBot 4.0，巩固了我们的模型在支持中文的顶级大语言模型中的地位。具体来说，DeepSeek-V2 Chat (RL) 在中文语言理解方面表现出色，超越了包括 GPT-4-Turbo-1106-Preview 在内的所有模型。另一方面，DeepSeek-V2 Chat (RL) 的推理能力仍落后于巨型模型，如 Erniebot-4.0 和 GPT-4s。

关于大型 SFT 语料库必要性的讨论一直是激烈争论的话题。先前的工作(Young 等人, 2024; Zhou 等人, 2024)认为少于 10K 条 SFT 数据就足以产生令人满意的结果。然而，在我们的实验中，我们观察到如果使用少于 10K 条实例，IFEval 基准上的性能会显著下降。一个可能的解释是，语言模型需要一定量的数据来发展特定技能。虽然所需的数据量可能随着模型规模的增大而减少，但不能完全消除。我们的观察强调了为 LLM 配备所需能力而提供充足数据的迫切需求。此外，SFT 数据的质量也至关重要，特别是对于涉及写作或开放式问题的任务。

在人类偏好对齐过程中，我们观察到在开放式生成基准上，AI 和人类评估者评分的性能都有显著提升。然而，我们也注意到一种“对齐税”现象(Ouyang 等人, 2022)，即对齐过程可能会对某些标准基准（如BBH）的性能产生负面影响。为了减轻对齐代价，在强化学习阶段，我们在数据处理和改进训练策略方面付出了巨大努力，最终在标准基准和开放式基准的性能之间实现了可接受的权衡。探索如何在不损害模型通用性能的情况下使模型与人类偏好对齐，为未来的研究提供了一个有价值的方向。

在我们的偏好对齐实验中，我们发现在线方法明显优于离线方法。因此，我们投入了大量精力来实现用于对齐DeepSeek-V2的在线强化学习框架。关于在线或离线偏好对齐的结论在不同情境下可能有所不同，我们将它们之间更全面的比较和分析留待未来工作。

在本文中，我们介绍了DeepSeek-V2，一个支持128K上下文长度的大型MoE语言模型。除了强大的性能外，它还以经济的训练和高效的推理为特点，这得益于其创新架构，包括MLA和DeepSeekMoE。在实践中，与DeepSeek 67B相比，DeepSeek-V2实现了显著更强的性能，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，并将最大生成吞吐量提升至5.76倍。评估结果进一步表明，仅使用21B激活参数，DeepSeek-V2就在开源模型中实现了顶级性能，并成为最强的开源MoE模型。

DeepSeek-V2及其聊天版本共享其他LLM中常见的公认局限性，包括预训练后缺乏持续的知识更新、可能生成非事实信息（如未经核实的建议）以及产生幻觉的可能性。此外，由于我们的数据主要由中文和英文内容组成，我们的模型在其他语言上的熟练程度可能有限。在中文和英文以外的场景中，应谨慎使用。

DeepSeek将长期主义地持续投资于开源大模型，旨在逐步接近通用人工智能的目标。

2 研究与工程
刘爱欣
王炳轩
刘波
赵成刚
邓承启
阮冲
戴美黛
郭大雅
杨德健
陈德利
李尔航
林方云
罗富丽
郝广博
陈冠廷
李国伟
H. Zhang
Hanwei Xu
Hao Yang
Haowei Zhang
Honghui Ding
Huajian Xin
Huazuo Gao
Hui Qu
Jianzhong Guo
Jiashi Li
袁景阳
邱俊杰
宋俊晓
董凯
高凯歌
关康
王乐安
张乐聪
赵亮
张丽月
张明川
张明华
唐明辉
黄盼盼
王培懿
朱启豪
陈沁雨
杜秋实
葛瑞琪
潘瑞哲
徐润欣
陆尚豪
周尚彦
陈善煌
叶圣峰
马世荣
王诗雨
余水平
周顺峰
郑思泽
田培
曾旺丁
刘文
梁文峰
高文军
张伟涛
毕晓
王晓涵
刘晓东
陈晓康
聂晓涛
刘鑫
谢鑫
于兴凯
杨新宇
陆璇
苏学成
吴Y.
李Y.K.
魏Y.X.
徐艳红
李瑶
赵瑶
孙耀峰
王耀辉
张一超
熊一良
赵一龙
何颖
朴一石
董一欣
谭一轩
刘一远
王永吉
郭永强
王玉端
邹宇恒
游宇翔
刘宇轩
任中洲
任泽辉
沙张丽
付哲
谢振达
郝哲文
邵志宏
李卓书
王梓涵
顾子慧
李紫琳
谢子威
数据标注
冯贝
李辉
蔡杰龙
倪嘉琪
徐磊
李萌
田宁
陈瑞杰
金如林
陈如意
李思思
周爽
袁天
孙天宇
李新奇
金祥月
沈晓金
陈小莎
孙晓文
王晓翔
宋新楠
周欣怡
朱永祥
徐艳红
黄艳萍
李耀辉
郑毅
朱宇辰
马云贤
黄震
徐志鹏
张中宇
业务与合规
王斌
纪东杰
梁健
陈进
夏乐怡
王苗军
李明明
张鹏
吴少卿
叶盛峰
王涛
肖文龙
安伟
王先组
唐颖
Yukun Zha
Yuting Yan
Zhen Zhang
Zhiniu Wen

在每个角色内，作者按名字的字母顺序排列。 特别是，Huazuo Gao和Wangding Zeng在MLA架构的研究中做出了关键创新。此外，我们感谢Jianlin Su在位置嵌入方面的有益讨论。我们感谢所有为DeepSeek-V2做出贡献但未在论文中提及的人。DeepSeek相信，创新、新颖和好奇心在通往AGI的道路上至关重要。

DeepSeek-V2-Lite有27层，隐藏维度为2048。它也采用MLA，有16个注意力头，每个头的维度为128。其KV压缩维度为512，但与DeepSeek-V2略有不同，它不压缩查询。对于解耦的查询和键，每个头的维度为64。DeepSeek-V2-Lite也采用DeepSeekMoE，除第一层外的所有FFN都被替换为MoE层。每个MoE层由2个共享专家和64个路由专家组成，每个专家的中间隐藏维度为1408。在路由专家中，每个token将激活6个专家。在此配置下，DeepSeek-V2-Lite总参数为15.7B，其中每个token激活2.4B。

DeepSeek-V2-Lite也是从零开始，在DeepSeek-V2的相同预训练语料库上进行训练的，该语料库未被任何SFT数据污染。它使用AdamW优化器，超参数设置为$\beta_1=0.9$, $\beta_2=0.95$，以及$\mathrm{weight\_decay}=0.1$。学习率采用预热和步进衰减策略进行调度。最初，学习率在前2K步内从0线性增加到最大值。随后，在训练约80%的token后，学习率乘以0.316，在训练约90%的token后，再次乘以0.316。最大学习率设置为$4.2 \times 10^{-4}$，梯度裁剪范数设置为1.0。我们不对其采用批大小调度策略，而是以恒定的批大小4608个序列进行训练。在预训练期间，我们将最大序列长度设置为4K，并在5.7T个token上训练DeepSeek-V2-Lite。我们利用流水线并行将不同层部署到不同设备上，但对于每一层，所有专家都将部署在同一设备上。因此，我们仅采用一个小的专家级平衡损失，权重为$\alpha_{1}=0.001$，并且不对其采用设备级平衡损失和通信平衡损失。预训练后，我们还对DeepSeek-V2-Lite进行了长上下文扩展和SFT，并得到了一个名为DeepSeek-V2-Lite Chat的聊天模型。

我们在表6中评估了DeepSeek-V2-Lite的性能，并将其与我们之前的小型基础模型进行了比较。DeepSeek-V2-Lite展现出压倒性的性能优势，尤其是在推理、编码和数学方面。

我们在表7中评估了DeepSeek-V2-Lite Chat的性能，并将其与我们之前的小型聊天模型进行了比较。DeepSeek-V2-Lite也大幅优于我们之前的小型聊天模型。

为了展示MLA的完整计算过程，我们在下面提供其全部公式：其中蓝色框中的向量需要在生成时缓存。在推理过程中，朴素公式需要从 $\mathbf{c}_{t}^{KV}$ 恢复 $\mathbf{k}_{t}^{C}$ 和 $\mathbf{v}_{t}^{C}$ 以进行 attention。幸运的是，由于矩阵乘法的结合律，我们可以把 $W^{UK}$ 吸收到 $W^{UQ}$ 中，并把 $W^{UV}$ 吸收到 $W^{O}$ 中。因此无须为每个 query 显式计算 key 与 value。这一优化避免了推理期间重复计算 $\mathbf{k}_{t}^{C}$ 和 $\mathbf{v}_{t}^{C}$ 的开销。

我们在表8中展示了使用MHA、GQA和MQA的7B稠密模型在四个困难基准上的评估结果。这三个模型均在1.33T令牌上训练，除了注意力机制外共享相同的架构。此外，为了公平比较，我们通过调整层数将它们的参数数量对齐到约7B。从表中我们可以发现，MHA在这些基准上表现出比GQA和MQA显著的优势。

在表9中，我们展示了配备MLA和MHA的MoE模型在四个困难基准上的评估结果。为了得出可靠的结论，我们在两种规模上训练和评估模型。两个小型MoE模型总参数约160亿，我们在1.33T个token上训练它们。两个大型MoE模型总参数约2500亿，我们在420B个token上训练它们。此外，两个小型MoE模型和两个大型MoE模型分别共享相同的架构，除了注意力机制不同。从表中我们可以观察到，MLA表现出比MHA更好的性能。更重要的是，MLA所需的KV缓存量显著小于MHA（小型MoE模型为14%，大型MoE模型为4%）。

在预训练数据准备过程中，我们识别并过滤掉有争议的内容，例如受地域文化影响的价值观，以避免我们的模型在这些有争议的话题上表现出不必要的主观偏见。因此，我们观察到DeepSeek-V2在与特定地域文化紧密相关的测试集上表现略差。例如，在MMLU评估中，尽管DeepSeek-V2在大多数测试集上与其竞争对手如Mixtral 8x22B相比表现相当或更优，但在主要与美国价值观相关的人文-道德子集上仍落后。

此外，我们对该子集进行了人工分析。三位受过良好教育的人工标注员对MMLU Humanity-Moral子集中的420个道德场景进行了独立标注。然后，我们计算了他们的标注与真实标签之间的一致性。如表10所示，三位人工标注员与真实标签之间的一致性较低。因此，我们将DeepSeek-V2在这些价值敏感测试集上的异常表现归因于我们在预训练语料库去偏方面的努力。

评估使用SC-Math6语料库，该语料库包含数千道中文数学题。DeepSeek-V2 Chat (RL)在所有中文大语言模型中表现最佳，包括开源和闭源模型。

我们进一步在图5中分享了更多结果，涉及HumanEval 和LiveCodeBench，其中LiveCodeBench的问题选自 2023年9月1日至2024年4月1日期间。如 图所示，DeepSeek-V2 Chat (RL)在LiveCodeBench上表现出相当高的熟练度，其Pass@1分数甚至 超过了一些巨型模型。这一表现凸显了DeepSeek-V2 Chat (RL)在处理实时编码任务方面的强大能力。

我们在表12-37中分别展示了每个基准的评估格式。