Amazon Marketplace 如何用 Amazon SageMaker AI 评估内容质量

A+ Content 是亚马逊商品详情页上的富媒体组件。品牌通过视觉素材传达独特的产品与品牌价值，帮助客户做出更明智的购买决策。使用高质量 A+ Content 的销售伙伴，其销售额比未使用的高出 8–20%。从拥有庞大内部设计团队的成熟品牌到资源有限的初创品牌，各类品牌都在使用 A+ Content，这导致内容质量参差不齐。一个典型的 A+ Content 项目将文字、图片和视频融合成一个连贯的产品故事。孤立地评估每个素材会忽略这些素材协同作用所产生的整体质量。当您的内容跨越多个异构模块，并且需要的是整体质量信号而非逐个素材的检查时，本文介绍的多模型融合方法可以提供帮助。本文将在 A+ Content 的背景下探讨这个问题。

A+ Content 为销售伙伴提供了创作自由，使他们能够在商品详情页上展现真实的自我，而不受图片比例和文字字数等严格内容规范的限制。

尽管这种灵活性使品牌能够进行引人入胜的故事讲述，但也导致内容构成和质量存在很大差异。

通过质量评估和改进建议，品牌可以将普通内容转化为更连贯、更相关、更有用的高质量内容。经过改进的内容帮助客户做出更明智的购买决策，并与品牌建立持久的关系，从而为销售伙伴带来更高的收入。

为实现这一目标，评估系统必须评估完整的内容体验，提供超越数值评分的可执行建议，并反映不同商品类目之间的细微差别。现有方法难以同时满足所有这些要求，因此本文将展示一种新方法：使用视觉语言模型（VLM）以整体方式理解和评估内容，并使用基于扩散模型的生成组件根据产生的质量信号生成改进后的视觉素材。

在本文中，您将学习如何：

• 将完整的电商内容渲染为单个快照，并使用 VLM 对其进行整体评估。
• 将 VLM 语义评分与 OCR 可读性信号相结合，构建一个基于专家标注训练的轻量级 CatBoost 分类器。
• 使用 SHAP 解释质量决策，并为销售伙伴生成可执行的改进建议。
• 在 Amazon SageMaker AI 上实现端到端流水线，涵盖从数据摄取和标注到模型托管、可解释性和生产监控的全过程。

基于 VLM 的评估面临的机遇与挑战

视觉语言模型（VLM）将图像编码器与大语言模型（LLM）配对。编码器通常是一个视觉 transformer（ViT），它将图像切分为图块并转换为嵌入，再由一个小型连接器将这些嵌入映射到语言模型的输入空间（Flamingo、LLaVA）。许多 VLM 复用 CLIP 的图像编码器，该编码器学习过将图像与其说明文字相匹配。由于 VLM 被训练为遵循指令，你可以给它一张图像以及一套评估标准，无需针对具体任务进行训练，就能得到一份书面评估。当你需要与人工审核员更一致的结果时，可以在带标注的示例上对模型进行微调。这使得 VLM 成为大规模检查产品图像是否符合内容准则的实用起点。

传统的计算机视觉模型已经可以对单个素材打分，例如标记模糊图像或项目列表中的语法错误。用 VLM 对每个素材单独评分，在此基础上并没有太多增益。然而，商品详情页将图像、文本和版式模块组合成一个整体的故事，其质量取决于这些部分如何协同工作。我们的方法将整个页面渲染为一张快照，并要求 VLM 按照客户所见对其进行评估。

以一个搅拌机页面为例：页面包含一张主图、一份突出刀片转速和容量的功能要点列表，以及一张搅拌机在现代厨房中的生活场景照。逐个检查时，每个素材都通过了：图像清晰、要点语法正确、照片光线良好。但放在一起看，问题就出现了。要点列表可能宣传 64 盎司的水壶，而生活场景照展示的却是单杯型号；或者生活场景照被放在主图上方，导致客户先看到厨房而不是产品。由于一个素材的含义取决于它出现的位置及其周围的内容，这些问题只有在将页面作为整体评估时才会显现。快照让 VLM 获得了完整的视图。要在生产环境中使用它，还需满足三项要求：评分必须符合专家质量标准，评估必须在大规模下准确且高效，并且每项结果都必须说明需要修复什么。

如图 1 所示，我们通过一个基于 VLM 的多模型融合架构来解决这些考量，该架构围绕适应性、性能和可解释性而设计。以下各节将介绍每个组件。

图 1：基于 VLM 的多模型融合方法框图，包括 VLM、OCR 和分类器模型

结合专家标注的自适应 VLM 内容评估

预训练的 VLM 在给定评估标准的提示下，会依据其通用知识对内容进行评分，但这些评分并不总是符合电商质量标准。通过微调 VLM 来弥合这一差距需要 GPU 训练基础设施，而且在只有几千条标注示例的情况下，存在实际过拟合风险。因此，我们保持 VLM 和评估标准提示不变，将 VLM 的结构化输出用作特征，并在其上训练一个 CatBoost 分类器来预测专家质量标签。CatBoost 是一个梯度提升决策树库，在类似这样的小型表格数据集上表现良好。由于只需重新训练分类器，随着标注积累或标准变化来更新系统时，只需一个短暂的纯 CPU 任务，而无需进行基础模型微调。

VLM 接收页面快照和一个涵盖四个质量维度的评分标准提示词：视觉叙事、功能展示、A+ 布局和转化优化。每个维度都有明确的评判标准与扣分规则。对于每个维度，VLM 返回一个 0 到 10 的分数、一个置信度值以及一条自然语言的理由。例如，当页面缺乏多样化的模块或生活方式图片，或重复信息时，它会降低分数并解释原因。分数和置信度值成为分类器的特征，而理由则帮助销售合作伙伴理解结果。

为了构建训练标签，一名电商营销专家和四名专业标注员使用相同的标准，独立对来自 10 个产品类别的 5,478 个商品详情页面进行了高质量或低质量评分。我们评估了他们的评分并采用多数投票来创建共识标签。类别几乎平衡（49.6% 为高质量），因此分类器无法通过预测多数类来取得好成绩。为了衡量标签的可靠性，我们使用了 Cohen’s kappa，它衡量在扣除随机情况下可达到的一致性后，两名评分者之间的一致程度。分数为 0 表示一致性不比随机好，1 表示完全一致，通常 0.8 以上被认为是一致性很强。每名标注员与共识标签相比的得分在 0.845 到 0.915 之间。

图 2：标注员表现与内容难度分布。接近对半的类别划分排除了多数类偏差（左图），难度分布解释了残余的分歧（右图）

我们在 20% 的留出集（约 1,100 个页面）上将分类器与一个基线进行了比较。该基线对四个 VLM 分数取平均值并应用固定阈值，因此每个维度的权重相同。基线达到了 0.80 的准确率和高质量类上 0.84 的 F1 分数。在相同分数上训练的 CatBoost 分类器达到了 0.89 的准确率和 0.90 的 F1 分数。因为分类器学习了每个维度的重要程度以及各维度之间的相互作用，其预测更贴近专家的判断。

使用 OCR 进行高性能 VLM 内容评估

VLM 能很好地捕捉页面的整体含义和视觉构成，但在细粒度的可读性问题上可靠性较低，例如文字有多拥挤或行间距有多大。由于它们以语言模型为基础，即使客户更偏好可以快速浏览的简洁文本，它们也可能偏爱冗长详细的描述。在文字密集的页面上，VLM 可能会把密集的产品信息评为有帮助的，而客户却难以阅读挤在小区域内的长句。为了捕捉这些问题，我们使用一个托管在 SageMaker AI Inference 上的光学字符识别（OCR）模型来提取每块文本及其位置，然后计算四个量化信号：文本密度、字符密度、间距和整体可读性。将这些 OCR 分数与 VLM 的语义和视觉评估相结合，可以补充有助于提升质量分类的信息。

从该输出中，我们计算四个可读性分数：

• 文本密度：页面面积中被文本覆盖的比例。
• 字符密度：单位页面面积内的字符数量。
• 间距：单词、行和段落之间空白的一致性和充足程度。
• 整体可读性：由前述三个分数组合而成的综合信号。

由于这些分数取决于版式而非措辞，两个文本完全相同的页面可能得到不同的分数。

融合模型将四个 VLM 评分和四个 OCR 评分合并为八个特征，并在相同的专家标注上训练一个 CatBoost 分类器。表 1 将它与仅在单一特征集上训练的模型进行了比较，使用相同的 20% 留出集。

在相同的 20% 留出集上，仅使用 OCR 特征的 CatBoost 模型达到了 0.82 的准确率和 0.83 的 F1 分数，而仅使用 VLM 特征的模型达到了 0.89 和 0.90。融合的 OCR-VLM-CatBoost 模型优于两个独立模型，达到了 0.94 的准确率和 0.95 的 F1 分数。相比仅用 VLM 的模型，两项指标均提升了 0.05，这表明 OCR 并非替代性信号，而是以细粒度的文本可读性信息补充了 VLM 的整体判断。

使用 SHAP 的可解释 VLM 内容评估

仅有质量标签并不能告诉销售合作伙伴该优先修复什么。为了找出是哪些维度推动了每个决策，我们使用 SHapley Additive exPlanations（SHAP），它为每个特征分配一个值，显示该特征将预测推向高质量或低质量方向的程度。由于 VLM 和 OCR 分数输入同一个分类器，SHAP 可以在统一的尺度上衡量两者。原始分数无法做到这一点：视觉叙事（Visual Storytelling）分数为 6 和较高的字符密度（Character Density）并不能告诉你哪个对决策的影响更大。

在整个留出集上，影响力最大的特征是 OCR 字符密度（平均绝对 SHAP 值为 1.1）、OCR 整体可读性（1.0）和 VLM 视觉叙事（1.0），其次是 A+ 版式（0.8）、特性展示（0.6）和转化优化（0.4）。OCR 和 VLM 特征都位居前列，因此分类器同时依赖两类来源。

图 3：所有 VLM 和 OCR 特征的全局 SHAP 值分布

对于单个页面，SHAP 可以显示哪些特征降低了决策。对于每个被分类为低质量的页面，我们按 SHAP 值对八个特征排序，然后将最负面的特征、产品类别和电商最佳实践，连同 VLM 的判断依据一起传给一个 LLM，由其将其转化为按优先级排列的具体行动。

图 4 展示了两张局部 SHAP 图，以及基于 SHAP 结果的 LLM 推理，分别对应一个低质量和一个高质量的 A+ Content 样例。例如，如果 A+ 版式的 SHAP 值为 -1.2，视觉叙事为 -0.3，系统会优先重构版式、重新平衡文本与图片，其次是改进图像。

图 4：所有 VLM 和 OCR 特征的两张局部 SHAP 值分布图：(a) 低质量案例，大多数特征产生负向贡献，推动“请求改进”的建议；(b) 高质量案例，大多数特征产生正向贡献

我们通过测量销售合作伙伴修订内容后的质量分数，验证了这些基于解释的推荐建议的有效性。在一个具有统计显著性的样本中，修订后的平均质量分数在 10 分制上提高了 1.4 分。因此，SHAP 贡献值可以从决策解释转化为可操作的改进优先级和方法。由此可见，可解释性不仅仅是理解模型的辅助能力，它还发挥着反馈机制的作用，切实提升内容质量。

结果

完整的系统使用 VLM 和 OCR 对每个页面快照进行评分，将四个 VLM 分数和四个 OCR 分数组合成一个特征向量，并将其传递给在专家标注上训练的 CatBoost 分类器。然后，SHAP 会识别是哪些特征驱动了每个决策。为了衡量每个组件带来的增益，我们在同一个 20% 的留出集上比较了四种配置。该留出集来自 10 个产品类别的 5,478 个商品详情页，包括家具、鞋类、食品杂货、美妆和服装。

基线方法对四个 VLM 分数取平均值并应用固定阈值，因此每个维度的权重相同。它达到了 0.80 的准确率和 0.84 的 F1 分数。在相同的分数上训练 CatBoost 分类器，可以让模型学习哪些维度最重要以及它们之间如何相互作用，从而将准确率提升至 0.89，F1 提升至 0.90。仅使用 OCR 分数训练的分类器达到了 0.82 的准确率和 0.83 的 F1 分数。结合 VLM 和 OCR 分数取得了最佳结果，准确率为 0.94，F1 分数为 0.95。相比基线，准确率高出 14 个百分点，F1 高出 11 个百分点。

图 5：VLM 和 OCR 评估配置之间的准确率和 F1 对比

分别考察每一项性能提升，可以更清楚地看出集成方法的价值。首先，CatBoost 校准通过学习特定于维度的权重和非线性决策边界，降低了固定阈值的局限性。其次，加入 OCR 特征提供了 VLM 可能遗漏的文本可读性信号。总体而言，最终的融合模型相比基线将准确率提高了 0.14，F1 提高了 0.11。

我们还在一个包含 499 个内容项目的单类别数据集上进行了额外实验，更换了 VLM 骨干网络。使用较轻量的 VLM 变体时，基线达到了 0.74 的准确率和 0.72 的 F1 分数，而 OCR-VLM-CatBoost 模型在两项指标上均达到了 0.90。使用更强大的 VLM 变体时，基线达到了 0.79 的准确率和 0.84 的 F1 分数，而融合模型达到了 0.94 和 0.95。融合方法在两种 VLM 上分别将准确率提高了 0.16 和 0.15，这表明互补的 OCR 特征能够带来一致的增益，而不依赖于特定的基础模型。

为了在保持对高性能基础模型的访问的同时降低开发成本，该系统冻结了 VLM，仅训练低开销的分类器。在生产环境中，一项根据模型的质量决策调整低质量 A+ Content 可见性的全球 A/B 实验，带来了订购商品销售额（OPS）的统计学显著提升。这个集成系统不仅与专家判断高度一致，还提供了一个可在规模化场景下支持客户体验和业务决策的质量信号。

在 Amazon SageMaker AI 上的实现

本节介绍该架构如何在 Amazon SageMaker AI 上进行端到端实现。流水线的每个阶段——从内容渲染和专家标注，到 VLM 评分、OCR 提取、特征聚合、分类器训练、基于 SHAP 的可解释性以及生产监控——都对应一项 SageMaker AI 托管能力。这种设计将运维开销保持在较低水平。以下步骤将逐一说明每个组件在生产环境中如何部署、连接和维护。

图 6：基于 Amazon SageMaker AI 的内容质量系统架构

1. 内容快照渲染与数据摄取：完整渲染 A+ Content 体验，捕捉客户实际看到的页面。

SageMaker Processing 作业大规模运行容器化渲染作业，将数据准备与训练和推理计算解耦。

2. VLM 评分与模型托管：标注员使用质量评分标准独立标注内容。他们汇总形成的共识标签作为训练目标。冻结的 VLM 接收每张快照以及评分标准提示词，输出四个 0 到 10 的分数（视觉叙事、功能呈现、A+ 布局、转化优化），每个分数都附带置信度和理由。SageMaker AI Inference 使用适合工作负载的部署选项来托管 VLM：

• Real-Time Endpoints（实时端点），用于对单个 listing 进行同步、低延迟评分。
• Asynchronous Endpoints（异步端点），用于高分辨率快照等较大负载的场景，可接受轻微延迟。
• Batch Transform（批量转换），用于目录规模的离线批量评分。

这些选项支持自动扩缩、托管基础设施和 GPU 实例选择。

SageMaker Training Jobs 可选用于进一步调优或蒸馏 VLM（例如低秩适应（LoRA）适配器、知识蒸馏到更小的模型），前提是团队希望获得专门化、低延迟的变体。若要保持重新校准的低成本且不依赖特定 VLM，可避免此操作。

3. OCR 可读性提取：与此同时，OCR 从每张快照中提取文本和边界框位置，并计算四个可读性信号：文本密度、字符密度、间距和整体可读性。

SageMaker JumpStart 提供来自其模型中心的预训练、单步可部署模型，避免了从零开始寻找、打包和评测模型的需要。团队选择一个模型，可以使用电商内容上的 SageMaker Serverless Model Customization 无需管理基础设施地对其进行微调（可选），然后直接部署。SageMaker AI Inference 随后将所选 OCR 模型托管为端点。

4. 特征聚合与存储：

SageMaker Feature Store 提供对相同特征的在线（低延迟推理）和离线（批量训练）访问，避免训练与服务偏差。团队可以在整个组织内共享特征，下游使用者可以复用同一批经过整理的特征。

5. 分类器训练：在八维特征向量上使用专家标注训练 CatBoost 分类器，以学习非均匀的维度权重和非线性决策边界。此处同样可以使用 SageMaker Training Jobs。你可以将训练好的模型直接注册到 SageMaker Model Registry，用于版本管理、审批工作流和生产部署。

6. SHAP 可解释性与改进建议：SageMaker Processing 作业支持 自带（BYO）处理代码，你可以用它来推导 SHAP 值和模型可解释性指标。

7. 生产监控与重新训练：在生产环境中，机器学习模型会随时间自然退化。客户审美发生变化、新类型的 A+ 模块发布、产品品类演进、卖家行为改变。分类器从历史标注中学到的评分模式会逐渐偏离当今对“质量”的定义，如果不加干预，就会导致准确率悄然下滑。通过持续监控，当线上数据分布或模型预测与训练基线偏移到足以需要重新校准的程度时，就能及时发现并弥补这一差距。

SageMaker AI ModelOps 提供了 一组示例和资源，帮助你在 SageMaker AI 上将生成式 AI 和机器学习工作负载投入实际运营。

SageMaker AIOps 提供了跟踪数据质量、模型质量和特征归因漂移的工具。SageMaker Pipelines 还能在漂移超过阈值时端到端地自动执行重新训练工作流。

8. 基于扩散模型的内容生成：形成闭环，质量分数和基于 SHAP 的改进建议会作为条件输入扩散模型，生成改进后的 A+ 图片素材。系统不让卖家自己去理解建议并从零开始创作新内容，而是直接生成可直接使用的视觉素材（升级的生活场景图、重新平衡的排版或优化的产品图），这些素材直接针对 SHAP 标记出的负面贡献最大的维度。这些生成的素材和自然语言改进建议会呈现给卖家，让他们可以在 amazon.com 上升级自己的商品页面。

结论

在这篇文章中，我们展示了如何按照客户看到的实际效果来评估商品详情页：将每个页面渲染为单张快照，并用视觉语言模型（VLM）进行评分。我们还介绍了在 Amazon SageMaker AI 上实现该系统的过程。该系统围绕三个目标构建。在适应性方面，我们保持 VLM 固定不变，并基于其评分量规分数训练 CatBoost 分类器，使系统匹配专家判断，并且只需一个短时间的纯 CPU 作业即可更新。在性能方面，我们加入了 OCR 可读性分数，捕捉 VLM 容易遗漏的密集或间距不良的文本。在可解释性方面，SHAP 识别出驱动每个决策的特征，再由 LLM 将这些结果转化为面向销售合作伙伴的按优先级排列的改进建议。

在来自 10 个产品品类的 5,478 个商品详情页上，融合模型达到了 0.94 的准确率和 0.95 的 F1 分数，分别比平均分基线高出 14 和 11 个百分点。根据建议进行修改的页面，其质量分数在满分 10 分的量表上平均提高了 1.4 分。

内容质量标准因产品品类、语言和市场而异，我们的专家标注无法完全代表所有场景。接下来，我们计划评估更高效的 VLM 骨干模型和推理方法，以便在全球商品目录上运行该系统。

关于作者