多模态模型的结构可视化

本单元开始讨论多模态表示与视觉语言系统。

CLIP 的核心不是生成句子，而是把图像与文字映射到同一个嵌入空间，让真实配对相近、批内错误配对相远。

本课从三组图文对出发，把双编码器、相似度矩阵和对称损失串成一个完整计算图。

设 batch 中有 $N$ 组真实配对：

把图像和文字按相同配对顺序排列。

于是 $I_i$ 的正确文字是 $T_i$，相似度矩阵中的正确位置为 $(i,i)$。

同一个 batch 中，其余 $T_j$（$j\ne i$）可以作为 $I_i$ 的批内负样本。

反方向也一样：其余图像是文字 $T_j$ 的负样本。

图像编码器产生表示

文本编码器产生表示

两种编码器的原始输出维度可以不同。

例如：

分别经过投影：

得到共同维度

“等长”是为了能逐元素内积，不是说两个模态必须使用相同编码器。

先归一化：

于是

对所有 $i,j$ 两两计算，得到

行 $i$ 表示图像 $I_i$ 对所有文字的相似度；列 $j$ 表示文字 $T_j$ 对所有图像的相似度。

余弦相似度范围为

直接送入 softmax 时，不同候选之间可能不够分离。

视频用温度 $\tau>0$ 定义 logits：

当 $\tau$ 较小时，相似度差异被放大，softmax 更尖锐；$\tau$ 较大时，分布更平滑。

一个常见实现边界是把

参数化为可学习的正 logit scale。

无论写成除以温度还是乘 logit scale，核心都是在 softmax 前调节相似度尺度。

固定图像 $I_i$，沿第 $i$ 行对所有文字做 softmax：

正确标签是 $j=i$。

该方向损失为

若真实配对概率接近 $1$，负对数接近 $0$；若正确文字概率很小，损失很大。

行 softmax 回答的问题是：

但 CLIP 还希望反方向也可检索：

虽然两个方向使用同一个 logits 矩阵，归一化分母不同，因此概率矩阵一般不相同。

固定文字 $T_j$，沿第 $j$ 列对所有图像做 softmax：

该方向损失为

最终对称损失为

理想 logits 的对角线应明显大于同一行、同一列的其他位置：

行 softmax 让每一行的对角位置胜出。

列 softmax 让每一列的对角位置胜出。

两个方向共同训练，嵌入空间才同时支持 image-to-text 与 text-to-image 检索。

在最基础的批内对比视角中，一个 batch 的每个样本有：

batch 越大，候选分类问题通常越难，也提供更多负样本。

但这不意味着越大越好；显存、分布式通信、重复语义和假负样本都要考虑。

视频用小矩阵是为了可视化，不是限定真实训练 batch 只能有三对。

若图像列表和文本列表使用不同随机排列，而标签仍设为 $0,1,\ldots,N-1$，对角线就不再代表真实配对。

训练会把错误组合拉近。

所以数据管线必须保证：

最后一点是扩展边界：基础视频采用“一图一文、单个对角正样本”的最简单设定。

上一课用 CLIP 说明图像和文字如何进入共同表示空间。

这一课继续沿多模态路径追踪一个 OCR 示例：一页文档怎样从高分辨率图像变成较短的视觉 token 序列，再由语言模型逐 token 生成文字。

课程严格对应视频板书中的 DeepSeek-OCR V1 Base 示例。

视频中出现的输入分辨率、patch 大小、token 数和模块训练状态，都应理解为该示例的配置说明，而不是对 V2、其他分辨率模式或所有 OCR 系统的统一结论。

训练数据可以从带文字层的 PDF 出发。

同一页文档走两条路径：

可以把一条训练样本写为

其中：

这不表示任意 PDF 都天然有可靠标签。

扫描件或只含图片的 PDF 可能没有可抽取文字层；文字层与页面显示也可能错位。此时需要其他 OCR 结果、人工标注或数据清洗，不能直接把空文本当作 ground truth。

视频以 $1024\times1024$ 页面为例，并按 $16\times16$ 的 patch 划分。

每个空间方向的 patch 数为

因此二维网格为

总视觉位置数为

这里的 $4096$ 是空间位置数量。

每个位置还带有一个通道维度，所以更完整的特征形状可抽象写为

视频没有给出本段所需的精确通道数，因此不应凭空补一个 $C$ 的具体值。

语言解码器的注意力成本与上下文长度密切相关。

若每页都保留 $4096$ 个视觉 token，再叠加提示词和输出文本，序列会很长。

这会带来：

因此 DeepSeek-OCR 的关键问题不只是“看懂页面”，还包括“用更短的视觉序列保留可解码信息”。

视频板书先用 SAM 路径提取页面的深层视觉表示，再把特征整理为空间网格。

随后通过卷积压缩，把

缩为

最终视觉 token 数为

空间 token 数的压缩比为

也就是说，送往后续模块的位置数缩短到原来的

这个“16 倍”说的是 token 数量，不等于文件体积、显存或运行时间都必然精确下降 16 倍。

实际收益还受通道维度、卷积成本、解码长度、实现方式和硬件利用率影响。

卷积压缩与简单均匀抽点不同。

卷积在局部感受野中聚合邻近位置，把多个细粒度特征编码进较少的输出位置。

目标是在缩短序列的同时，尽可能保留：

不过，“尽可能保留”不等于无损压缩。

细小字体、密集公式或复杂版面都可能让压缩更困难，这也是不同分辨率模式存在取舍的原因。

按视频对 V1 Base 的讲解：

这段描述必须绑定到视频所讲的版本与配置。

不同代码版本可能使用不同模块名称、连接层或冻结策略；不能只凭这张板书推断所有 DeepSeek-OCR 版本都采用完全相同的可训练参数集合。

设压缩并编码后的视觉 token 为

提示词经过 tokenizer 与 embedding 后形成

两者被组织成解码器的条件上下文：

视频用 “parse the figure” 一类提示词说明任务意图。

“提示词变成 token”应理解为经过 tokenizer 得到 token 序列；一句提示词不保证在真实 tokenizer 中恰好只有一个 token。

DeepSeek MoE decoder 接收视觉上下文与提示词，然后生成目标文字。

训练时，对第 $t$ 个目标 token 的条件概率可写为

其中

表示真实目标的前缀。

整段目标文本的 teacher-forced 交叉熵为

训练可以并行计算多个位置的 next-token loss，但因果掩码仍保证第 $t$ 位看不到未来答案 $y_{>t}$。

训练时，第 $t$ 步使用真实前缀 $y_{<t}$。

推理时没有 ground truth 可喂入，只能使用模型已经生成的前缀：

因此早期生成错误可能进入后续条件，继续影响后面的 token。

这就是为什么训练损失较低，也不保证长文本自回归结果完全没有累积错误。

预测文本与参考文本可以用编辑距离比较。

Levenshtein 距离允许三种基本操作：

令预测序列为 $\hat Y$，参考序列为 $Y$，则距离

是把预测变成参考所需的最少编辑操作数。

视频讲的是“编辑距离”这一基本量。

若进一步除以参考序列长度，才得到一种归一化错误率：

这是编者补充的通用定义边界；具体评测究竟按字符、字节、单词还是结构化标记切分，必须查看对应基准与实现，不能仅由本视频确定。

视频示例可以整理成以下顺序：

其中最值得抓住的主线是：

完成本单元后，应能沿着 tensor shape 读懂两类常见多模态系统：

需要掌握的检查能力包括：

图像像素与文本 token 原本属于不同输入空间。

多模态模型先分别或联合编码，再让表示进入共同的相似度计算或语言建模目标。

CLIP 的核心输出是图像向量与文本向量。

OCR 视觉语言模型的核心中间量是视觉 token 序列，它们与提示词 token 一起作为解码器条件。

共同点是“将视觉信息变成可与文本目标连接的表示”，但最终任务不同。

设 batch 大小为 $B$。

图像编码器产生

文本编码器产生

投影并归一化后，两种表示进入同一个 $d$ 维空间。

余弦相似度为

若已做单位归一化，则可简写为 $c_{ij}=u_i^Tv_j$。

把所有配对相似度排成

第 $i$ 行表示第 $i$ 张图像与 batch 内全部文本的相似度。

第 $j$ 列表示第 $j$ 段文本与全部图像的相似度。

如果数据按同序配对，正确匹配位于矩阵对角线：

“对角线是正样本”依赖 batch 内配对顺序，不是任意相似度矩阵的固有属性。

余弦相似度范围有限，直接 softmax 可能区分不够尖锐。

使用温度 $\tau>0$：

$\tau$ 越小，logits 差异被放大，softmax 越尖锐。

不同实现也可能参数化为可学习的 logit scale；判断时应看实际公式与代码。

温度不是在改变哪个样本配对正确，而是在调节相似度进入概率分布时的尺度。

对每一行做 softmax，得到 image-to-text 分布：

正确类别是 $j=i$。

对每一列做 softmax，得到 text-to-image 分布。

两种交叉熵取平均：

只做行方向训练不能自动替代列方向目标；对称损失显式要求两个检索方向都把正确配对排高。

OCR 生成系统不是只输出一个全局页面向量。

它需要保留足够的空间与文字细节，再压缩为有限数量的视觉 token，供语言解码器逐 token 生成转写。

以课程板书中的 V1 Base 示例为界：

页面经过视觉编码，形成

个视觉位置。

再通过卷积压缩到

个视觉 token。

从 $64\times64$ 到 $16\times16$，每个空间轴缩小 4 倍。

位置总数缩小为

分之一。

压缩减少了解码器需要处理的视觉序列长度，但也要求每个压缩 token 聚合更大的页面区域。

因此视觉压缩始终在以下目标之间折中：

板书未指定的通道数、卷积细节和其他版本配置不能从空间网格反推。

压缩后的视觉 token 与提示词 token 共同进入语言模型解码器。

可抽象为条件概率：

其中 $v$ 是视觉 token，$x$ 是提示 token，$y$ 是目标文字 token。

视觉编码器负责从页面提取并压缩视觉证据，语言解码器负责在这些条件下建模输出序列。

训练时常使用 teacher forcing：预测第 $t$ 个目标 token 时，条件包含真实的 $y_{<t}$。

损失为逐位置 next-token 交叉熵。

推理时没有真实后续文本，模型只能把自己已经生成的 token 作为前缀继续解码。

因此训练时单步预测正确，不代表长序列推理不会发生误差累积。

CLIP 主要学习跨模态表示对齐：

OCR 生成模型主要学习条件序列生成：

二者都可用交叉熵，但“分类轴”和“监督事件”不同。

带文字层的 PDF 同时提供：

这种构造能批量获得图文监督，但必须处理：

数据来源便利不等于监督天然无噪声。

CLIP 常关注跨模态检索或分类式指标。

OCR 转写可使用编辑距离：

统计把预测变成参考所需的插入、删除与替换次数。

若报告归一化错误率，还必须说明按字符还是 token 切分、分母是什么、如何处理空格与标点。

不能只看到“编辑距离”就默认所有评测口径一致。

当任务重心是：

双编码器把图像和文本分别编码，便于缓存向量并快速比较。

它不直接产生长文本解释或逐字转写。

当输出是结构化或长序列文本，且需要依据页面局部证据逐步生成时，视觉 token 条件化解码更直接。

代价是视觉序列与生成序列共同占用解码计算，且需要处理自回归误差累积。

只看模块名称而不追踪这四项，容易把“共同空间”“视觉 token”和“生成概率”混成一种表示。