您对风险数据有多自信？：本·奥布莱恩（Ben O'Brien）

及时，准确和高质量的数据是有效建模，分析和风险管理的基础。通过BCBS 239等计划，监管机构试图加强控制并确保数据适合目的。然而，主管通常会期待直接的答案，并在范围，错误边缘和伴随他们的不确定性方面挣扎。

在实践中，公司经常与“真实”立场的估计一起工作。无论是否确认，阈值始终围绕哪种质量可以接受。如果这些阈值不明确，则不确定性直接馈入决策。

每个人都想专注于输出所说的话。但是，如果尚不清楚基础数据的质量，应用的转换和控制的质量，风险领导者将以不稳定的理由做出决定。更复杂的是，所需的准确性通常取决于正在做出的决策类型。

实际上，加特纳（Gartner）估计，由于质量较差的数据，金融机构平均每年损失1500万美元。我们的经验表明，数据中的结构缺陷是许多最持久的模型性能问题的背后。

对数据的结构化审核使这些弱点很早。它可以减少返工，提高防御性并提高对最终推动决策的模型的信心。

为什么通常将数据被低估为风险

在模型生命周期期间，大多数注意都集中在模型层本身 – 分割逻辑，性能统计，覆盖。相比之下，数据层通常会获得更轻的处理：检查完整性或缺失值，但仅此而已。

这反映了一种态度，即“数据是数据”，而不是定义所需的质量并提前解决缺陷。后果很明显。一项马赛克智能数据调查报告说，有66％的银行面临着具有数据质量和完整性的持续挑战，而有83％的银行由于零散的系统而缺乏实时访问交易数据。在这样的环境中，对于低延迟决策，模型输出不能完全信任。

当数据弱点出现在验证报告中时，解决这些弱点通常不会为时已晚，而无需大量成本。重新开发或重新设计昂贵且缓慢，因此通常会容忍缺陷。监管机构本身将其视为模型风险。随着企业扩大行为，粒状和第三方数据集的使用，这些风险变得越来越难以忽视。

常见示例包括：

• 变量在环境之间定义不同

• 在构建外应用和无证件的转换

• 谱系断裂，没有从源到模型就绪数据的明确跟踪

• 版本从数据集刷新不重新验证中漂移

• 积极使用中留下的遗产或多余的输入

这种缺陷很难通过性能指标检测到。嵌入后，它们很难分离，甚至更难补救。

行业研究表明，数据科学家花费了大约60％的时间来准备数据，而另有19％的人花了19％的时间来找到正确的信息。当基本数据在生命周期后期出现时，这些效率低下会升级，导致昂贵的返工，批准延迟和治理债务。

数据审核应测试什么

任何审核的基本问题是： 该数据集是否可以可靠地支持模型的假设，结果和监管要求？

似乎回答它需要的不仅仅是检查完整性或准确性。彻底的审核应评估：

1. 血统和可追溯性 – 每个变量都必须可以追溯到源，并具有转换和调整。

2. 可变结构和逻辑 – 定义应在开发，验证和生产中有效并始终应用。

3. 治理和所有权 – 清除数据集的问责制，并具有围绕访问，更新和版本控制的控件。

4. 完整性，一致性与和解 – 识别矛盾的来源，隐藏的偏见，离群值和环境之间的和解差距。

5. 用法对齐 – 证据表明每个意见都是相关的，有助于绩效，并由利益相关者理解。

以这种方式构建的审计表明，数据环境是强大的，可解释的，适合目的，这越来越多，这是主管的期望。

监管期望正在改变

主管现在超越了绩效的统计度量。模型输入受到控制，可解释和可靠的证据已成为先决条件，尤其是对于IFRS 9，ICAAP和压力测试模型。

在监督评论中，相同的发现反复出现：

• 输入变量的可追溯性不足

• 可变结构的文档不足

• 第三方数据的治理有限

• 开发和生产数据管道之间的一致性较弱

这些观察并不小。即使表现出色的模型也可能面临挑战或延迟，如果其基础数据无证件或不透明。

PRA继续通过IRB和IFRS 9评论在治理和数据质量方面提出弱点。欧洲央行和EBA也发布了类似的发现。例如，欧洲央行的修剪审查对验证的观察结果比在任何其他主题上的观察结果都要多，而严重问题数量最多。

随着AI驱动的模型和日益颗粒状的数据集成为标准配置，监督审查只会加剧。消息很明确：如果公司无法解释数据，他们将无法捍卫模型。

为什么公司应该从数据开始

使用结构化数据审核启动模型生命周期，提供了可能会列出该过程或不理会直到实施后的风险的早期可见性。

好处包括：

• 早期发现系统缺陷 – 防止在投资组合中重复相同的弱点

• 减轻补救负担 – 避免后期重建或治理覆盖

• 监管保证 – 提供明确的投入，转换和所有权的审计踪迹

• 模型防御性 – 确保可以根据稳定，可靠的输入来证明输出合理

• 与业务环境紧密保持一致 – 使模型符合当前行为，政策和监管要求

• 降低治理成本 – 建立对可重复使用的数据组件并降低管理成本的信任

对于高级风险领导者，数据质量和治理现在是内部保证和监管机构批准的核心。主管正在将注意力集中在输入上，而不仅仅是输出。

将数据放在模型生命周期的起点是对数字，模型和随后的决策中提供信心的最有效方法。