Indegene 如何在生命科学领域现代化并规模化企业数据质量

本文由 Indegene Limited 的 Shravan K S 共同撰写。

企业级 AI 正在为生命科学组织创造新的机会，以改进商业、医疗、市场准入及其他业务职能的决策。但每一个 AI 模型、仪表板和商业洞察的质量都取决于一件事：可信的数据。随着企业数据在多个平台、管道和业务领域中不断增长，维持一致的数据质量变得越来越困难。手动创建数据质量规则、碎片化的治理以及不断演变的业务定义，使得在企业范围内扩展数据质量变得极具挑战性。

本文探讨 Indegene 如何在 AWS 上基于其 NEXT Unified Data Platform（NEXT UDP）构建了一个生产级、由大语言模型（LLM）驱动的数据质量智能体。该智能体生成具备上下文感知能力的数据质量规则，对其进行验证，并在集中式、人在回路的治理下产出可直接运行的 SQL 和 Python 代码。这些能力共同帮助组织在企业规模上提升数据质量，同时减少构建和维护数据质量计划所需的工作量。

关于 Indegene

Indegene Limited（BSE: 544172，NSE: INDGN）是生命科学行业的战略运营合作伙伴，在产品生命周期中统筹商业、医疗、研发和安全运营。Indegene 深受全球排名前 20 的生物制药公司的信赖，帮助其以全球规模运行复杂且受高度监管的工作流程。Indegene 将深厚的生命科学专业知识与嵌入 AI 的平台和受治理的运营模式相结合，以提升关键业务运营的速度、一致性和合规性。通过将技术融入工作的执行和扩展方式，Indegene 帮助生命科学组织在受监管的环境中取得可衡量的成果。

为什么传统的数据质量计划会失效

大多数组织已经建立了数据质量流程，但随着企业数据生态系统的演变，使其持续有效变得越来越困难。

最大的挑战之一在于技术规则和业务规则所有权的割裂。数据工程师通常定义技术规则，用于确认数据在结构上是否正确。例如，验证 HCP ID（医疗专业人员 ID）不为空、符合要求的格式、具有唯一性，并映射到有效的参考记录。业务团队定义的规则则用于判断数据在其运营上下文中是否合理。例如，确认某个区域内的产品市场份额总和为 100%，或确认某位 HCP 的处方活动与其专业领域和资格标准相符。由于技术规则通常在代码中维护，而业务规则则存在于术语表、SOP 和领域专家经验中，要在不同数据集和平台上保持二者一致并统一治理变得十分困难。

传统的验证技术也存在固有的局限性。对空值、数据类型、唯一性或引用完整性的检查仍然必不可少，但它们无法捕捉业务特定的上下文。验证产品层级、客户细分、区域对齐或商业业务规则需要领域知识，而静态验证逻辑难以轻松表达这些内容。

创建和维护数据质量规则同样要求很高。每个新数据集都需要数据画像、规则定义、SQL 开发、验证和持续维护。这些规则往往分散在 SQL 脚本、管道代码、电子表格、数据目录和特定工具的配置中。随着模式、业务定义或验证阈值的变化，更新和治理这些规则所需的工作量会显著增加。

此外，运营影响也很显著。新数据集的接入变得更慢，因为许多活动需要重复手动完成。在数百个数据集之间维护质量规则消耗了宝贵的工程精力。当验证规则难以理解、追踪或与业务上下文关联时，业务用户就会失去信心。

结果，数据质量往往沦为一种周期性的治理活动，而不是一种持续的、可扩展的能力。

用生成式 AI 重新思考数据质量

传统数据质量工具通常作为独立的能力运行，与更广泛的企业数据生态系统脱节。随着组织在 AI 和分析方面的扩展，数据质量需要嵌入数据平台本身，让治理、元数据、数据血缘和分析协同工作。

Indegene 通过 NEXT Unified Data Platform（NEXT UDP）来解决这一问题，这是一个专为生命科学打造的现代化、AI 驱动的数据平台。NEXT UDP 将分散的商业、医学、临床和企业数据整合到一个统一的受治理环境中，使组织能够管理从摄取到分析的完整数据生命周期。NEXT UDP 提供多个独立的 AI 智能体，例如数据摄取智能体、数据质量智能体、编排智能体、数据目录智能体和 SQL Bot 生成器智能体。您可以在数据管道中单独使用它们，也可以进一步定制它们以实现智能体之间的通信。

通过在统一平台中整合数据摄取、转换、数据质量、治理、元数据管理和分析，NEXT UDP 帮助组织：

• 将分散的企业数据整合为可信的单一事实来源。
• 在各业务域之间标准化数据质量和治理。
• 提升元数据的可见性、血缘和可追溯性。
• 减少数据工程工作流中的手动工作。
• 为企业分析和决策提供可信的、面向 AI 的数据。

图 1：NEXT Unified Data Platform 仪表板，展示用例和 AI 智能体

图 2：NEXT UDP 在 AWS 上的技术架构

Indegene 的生命科学客户需要一个能够在生产环境中可靠运行并满足严格治理要求的智能体，同时让团队在构建方式上保持灵活性。在 NEXT UDP 中，生成式 AI 驱动一个智能数据质量智能体（Data Quality Agent），以增强现有的数据质量流程。该智能体通过加速规则创建、简化验证，并帮助在企业规模上保持一致的治理，从而提升数据工程师和数据管理员的工作效率。

Indegene 基于一系列 AWS 服务构建了 Data Quality Agent，核心是 Amazon Bedrock、Strands Agents 和 Amazon Bedrock AgentCore。Amazon Bedrock 提供多种基础模型（FM）选择，并建立在安全、隐私和负责任 AI 控制的基础之上。对生命科学组织而言，这一点至关重要，因为它们的数据通常包含敏感的医疗专业人员和患者信息。Strands Agents 简化了智能体的构建和更新，其评估工具帮助 Indegene 测试规则准确性，这在受监管的生命科学环境中至关重要。该智能体运行在 Amazon Bedrock AgentCore 上，这是一个可以大规模构建、连接和优化智能体的平台，支持任何框架或模型。该解决方案还继承了现有的 AWS 安全和审计控制，因此 Indegene 可以专注于数据质量逻辑，而无需操心智能体基础设施。

是什么让 Data Quality Agent 与众不同？两个知识库为情境感知的数据质量提供支持

任何数据质量工具都能检查空值、重复项或无效的数据类型。AWS Glue Data Quality（AWS Glue 的一项功能）等服务已经能够根据数据统计推荐这类规则，它们仍然是一个强大的基础。更难的问题在于判断数据对于其业务目的是否合理。为解决这一问题，Data Quality Agent 使用了两个互补的知识库，将精选的领域知识与受管控使用中积累的经验相结合。

第一个是企业内部知识库：它整合了内部业务术语表、数据字典、SOP、监管指南、已批准的数据质量规则、经过验证的脚本、画像结果、历史异常以及主题专家（SME）反馈。这些内容通过检索增强生成（RAG）进行摄取、向量化和检索，以生成基于企业标准和已验证结果的数据质量规则。

第二个是外部参考知识库：它使用经批准的标准化数据质量框架、网络搜索和受控的网络爬取构建，并定期更新。当选择一个数据集时，智能体会分析表和列的元数据，并从可信来源检索相关的数据质量标准、参考值和验证最佳实践。例如，对于 NPI（National Provider Identifier，全国提供商标识符）列，它可以识别适用的质量标准，推荐格式（要求的 10 位数字格式）并执行参考验证检查。

工作原理

图 3：Data Quality Agent 流程

Data Quality Agent 通过单一工作流带领用户完成从数据画像到规则创建和治理的全过程：

1. 选择数据源：连接到受支持的数据源，例如 Amazon Redshift 或 Snowflake。
2. 选择数据库和模式：浏览可用的表，以及每个表的规则数量和活动规则状态。
3. 数据画像：该解决方案计算表的质量指标和列模式，供用户查看。
4. 检测异常：该解决方案根据历史基线标记异常，用户可以查看总计、严重和警告问题以及受影响的记录。
5. 管理规则：查看表的现有规则，或开始创建新规则。
6. 选择规则模式：选择列级别、表级别或自定义查询。
7. 生成规则建议：智能体利用元数据、性能分析结果、异常、现有规则和知识库上下文来推荐技术与业务规则，每条规则均带有严重级别。
8. 审查、完善并应用：用户编辑或批准每条建议。
9. 生成并验证代码：智能体为已批准的规则生成 SQL 和 Python 代码，并通过验证步骤进行检查。
10. 存储到中央规则仓库：已批准的规则可供执行、监控和审计使用。

基于生成式 AI 的 AWS 数据质量智能体解决方案架构

下图展示了 NEXT UDP 平台上数据质量智能体从数据管理员请求到规则执行的端到端架构。

图 4：NEXT UDP 上数据质量智能体的解决方案架构

数据管理员和数据质量分析师从 Indegene 应用程序调用该解决方案。下表介绍了解决方案流水线的完整流程，并列出了每一层使用的 AWS 服务。表中还列出了该解决方案支持的其他选项，以便您根据自身的数据量、现有工具和运营偏好进行调整。

Data Quality Agent 如何构建上下文

在推荐任何验证规则之前，Data Quality Agent 会从六个不同的来源组装上下文，每个来源回答关于数据的不同问题：

这些信息源结合在一起，让智能体能够像经验丰富的数据管理员一样进行推理。每一条建议都立足于数据的实际情况、标准的要求、企业对质量的定义，以及已经实施的规则。

解决方案的功能

Data Quality Agent 生成多类检查项，并让数据管理员始终掌控结果。

异常检查生成

该解决方案生成的异常检查可以捕捉那些技术上有效、但不符合医药市场行为的值。这些情况包括负的转换百分比、市场内市场份额合计不等于 100%、药物排名不一致（例如排名第一的药物份额低于排名第二的药物）、超出定义范围的评分值，以及样本量过小或与受访者数量不符。

基于 RAG 的上下文感知规则生成

Data Quality Agent 以三种模式生成规则建议：

Create New Quality Rule 界面提供专门的列级别、表级别和自定义查询模式。

该平台同时支持技术验证和业务特定的质量检查。

对于技术规则，智能体会生成确认数据结构健全的检查项，包括针对必填字段的空值检查、数据类型验证、数值和日期值的范围验证、针对标识符和代码等格式化字段的模式验证、重复检测，以及相关表之间的引用完整性检查。

对于业务规则，智能体会生成生命科学领域的检查项，以确认数据与业务运营方式保持一致。这些检查包括账户归属一致性（例如，医疗保健提供方是否关联到正确的组织）、细分逻辑、资格标准，以及市场份额和产品份额验证（例如，某个区域内的份额不超过 100%）。

实际用例示例

假设有一张 HCP Product Performance 表，包含列 HCP_ID、Specialty、Territory_ID、Product_ID、Prescription_Volume、Market_Share_Pct、Switch_Pct、Rating_Scale 和 Reporting_Month。利用该表的分析概要和两个知识库，数据质量智能体会按如下方式生成并执行以下检查：

1. Anomaly checks performed.
   • 切换百分比为负数。
   • 市场份额总计不匹配。
   • 处方量突然增加或减少。
   • 产品排名不一致。
   • 评分量表值无效。
2. Technical rules generated.
   • HCP_ID 不能为空或重复。
   • Prescription_Volume 必须为数值且非负。
   • Market_Share_Pct 和 Switch_Pct 必须介于 0 到 100 之间。
   • Reporting_Month 必须遵循要求的日期格式。
   • Territory_ID 和 Product_ID 必须与其引用表匹配。
3. Business rules generated.
   • 每个区域和报告月份的所有产品市场份额总和必须为 100%。
   • HCP 的产品资格必须与其专科相符。
   • 只有符合条件的 HCP 才能被纳入目标细分。

AI 辅助的严重程度推荐

该解决方案会根据数据集上下文、规则类型和业务影响推荐严重程度。严重程度类别有助于区分：

• 严重问题，例如无效的商业指标、错误的标识符或业务规则违规。
• 基础验证，包括模式一致性、空值检查和长度验证。
• 复杂验证，涉及高级 SQL 逻辑、多列规则或特定领域的业务检查。
• 信息：仅为知情和透明目的而进行的验证。除非发现问题，否则无需采取行动。

SQL/Python 代码生成与 ETL 集成

规则获得批准后，LLM 会生成等效的 SQL、Python 和 PySpark 代码。在存储之前，代码会通过语法检查、针对目标模式的检查，以及在语言支持的情况下对样本数据进行试运行来自动验证。这意味着现有的抽取、转换和加载（ETL）及编排工具可以将它们作为当前数据管道的一部分来运行。

AI 辅助验证

将 LLM 用作验证智能体来审查另一个 LLM 生成的数据质量（DQ）规则/脚本，以减少幻觉并改进治理。此外，Amazon Bedrock 提供安全性、隐私和负责任的 AI 控制。提示词和输出不会被用于训练模型，也不会与模型提供商共享。Amazon Bedrock 符合 HIPAA 要求，并纳入 SOC、ISO 和 GDPR 等合规计划的范围内，这有助于 Indegene 满足其生命科学客户的要求。Amazon Bedrock Guardrails 为模型输入和输出添加可配置的防护措施。它能够检测并掩蔽个人身份信息（PII）、拦截有害内容和提示词注入攻击，并使用上下文接地检查来标记没有检索到的知识支持的反应。

人工监督仍然是核心

Data Quality Agent 旨在增强现有的数据质量流程。每条生成的规则都会获得一个置信度评分。只有高置信度、低风险的规则才会自动批准，而关键规则和业务规则始终交由 SME（领域专家）审核。每项决策都会记录在规则仓库中，因此规则管理始终保持受控、可追溯，并符合企业标准。

交付运营影响和业务价值

在为生命科学客户部署 NEXT UDP 的生产环境中，Data Quality Agent 将定义和实施数据质量规则的工作量从每数据集约 30 小时缩短至约 4 小时。这相当于减少约 85% 的工作量，或提升约 7 倍的生产力。新表的接入现在只需 2–4 小时，而不是 2–5 个工作日。数据工程师和数据管理员现在把时间花在审核和批准规则上，而不是从头编写规则。

主要成果包括：

• 通过 AI 生成的规则、SQL 和 Python，减少人工工作量。
• 更快地接入新表、新架构和新业务领域。
• 规则更加一致，立足于已批准的标准、企业知识和现有规则。
• 通过审核、完善和批准工作流，促进业务团队与技术团队之间更好的协作。
• 通过自动化的数据画像（profiling）和异常检测，更早发现数据质量问题。

表 1：性能与规模

*基于 Indegene 生产环境部署估算

表 2：规则质量与验证

*基于 Indegene 生产环境部署估算

表 3：运营效率

*基于 Indegene 生产环境部署估算

表 4：手动方式与智能体辅助数据质量对比

*基于 Indegene 生产环境部署估算

展望未来

随着企业数据生态系统的持续增长，依靠人工规则创建和碎片化的治理流程来维持一致且可扩展的数据质量变得愈发困难。生成式 AI 提供了一个增强这些工作流程的机会：加速规则生成、融入业务上下文，并支持受治理的决策过程。

NEXT 统一数据平台中由生成式 AI 驱动的数据质量智能体展示了大型语言模型、RAG 和集中式规则治理如何协同工作，在让人掌控审查与批准的同时简化数据质量管理。未来的增强功能将在这一基础上继续推进，包括：

• AI 辅助的修复建议，帮助用户解决未通过的数据质量检查。
• 根因分析，用于识别反复出现的异常模式，支持更快速地排查重复出现的数据质量问题。

随着这些能力不断演进，焦点始终未变：通过 AI 辅助的自动化帮助组织提升数据质量，同时保持治理、透明度和业务监督。

要了解更多信息，请参阅以下资源：

• Indegene 在生命科学领域的实践
• 医疗健康与生命科学领域的生成式 AI
• AWS Skill Builder 课程：使用 Amazon Bedrock 构建生成式 AI 应用
• GitHub 仓库：AWS 上的医疗健康与生命科学智能体示例

关于作者