数据质量：超越表面：Sanjeev Nargotra

在当今的快速电子商务时代，订购任何东西只是单击。想象一下，在一个明亮的星期日下午订购您最喜欢的啤酒的箱子，并在短短20分钟内送达。到达后，您会发现板条箱被损坏，但幸运的是，内部的罐子完好无损。您可能不会抱怨太多。如果除了破碎的板条箱外，很少有罐子也有凹痕。您会感到烦恼，但是一旦您最喜欢的啤酒冰冷至完美，您可能会更体贴板条箱和凹陷的罐子。

现在，考虑一种不同的情况，即箱子以完整的罐子到达完美的状态，但啤酒的味道却脱落了。您更喜欢哪种情况？在第一种情况下，您最有可能会更宽容，因为尽管板条箱破裂和一些凹痕，但啤酒的质量节省了一天。但是，在第二种情况下，没有好的包装可以弥补啤酒质量的损害。

让我们将此类比应用于数据质量。在这里，板条箱代表数据存储，通常是数据仓库和数据集市，罐子是表和列，而啤酒是数据本身。如果数据准确，并且业务不抱怨，则可以容忍不太理想的数据仓库和表结构。在第二种情况下，您拥有最新的云数据存储，并且表和列被数据产品替换，但是数据本身值得怀疑。你将如何反应？

常识表明，我们应该专注于修复啤酒和数据，因为它们是故事的主要英雄。不幸的是，我们通常专注于修复板条箱和罐或数据仓库和数据结构。虽然解决这些方面很重要，但如果监管机构敲门或企业对收入和运营效率低下的损失抱怨，它不会使我们免于尴尬，罚款和处罚。

这就解释了为什么许多分析师估计要确定一个不良数据质量的成本，以使组织的微薄14至2000万美元。这笔费用是为了修复板条箱和罐子而不是啤酒和数据。这提出了一个关键的问题：当资产负债表上的1400万人甚至没有出现在最后两个小数位时，为什么任何组织都会投资解决数据质量问题？如果我们确实考虑了不良啤酒和不良数据的影响，我们将不满意客户，导致客户和业务满意度下降，频繁的回报和人工对帐，收入下降，最重要的是FDA，FDA和美联储敲门。

为什么数据质量被误解了？

尽管质量可能有些模糊，但它在根本上是重要的。数据质量是一个复杂且与上下文相关的概念，通常在业务，技术，过程和数据科学领域中误解，每个概念都归因于不同的问题。许多研究仅将低AI的采用归咎于数据质量差。在寻求解决方案之前，要通过质量来了解每个人的含义至关重要。

讨论提出了有关数据质量是否等同于数据可靠性，是否不公平地归咎于流程或管理冲突的责任以及工具或流程修复是否可以解决该问题的关键问题。最终，真实的数据质量包括了解数据的上下文，意图和维度，这表明这是所有数据管理域的总和，而不是一个孤立的方面

关于数据质量的多种观点

每个执行官通过其独特的镜头查看数据质量问题：

• 业务关注关注的是影响报告和操作的错误或缺失的数据，通常将和解归因于数据质量差。
• 技术强调技术错误，例如零值或缺失值，语法错误和数据类型限制。
• 流程所有者强调了数据丰富的重要性和缺乏标准化定义。
• 数据科学家努力解释数据元素（例如表，列或字段）的含义，这会影响其有效使用数据的能力。

为了使数据可用，我们需要了解数据的上下文，意图和维度

• 语境：这是指使用数据的环境或情况。了解上下文对于确保数据相关并且适用于特定方案至关重要
• 意图：这涉及数据收集和用法背后的目的或原因。了解意图有助于使数据质量努力与组织的目标和目标保持一致
• 方面：这些涵盖了影响质量的数据管理的各个方面。有效的数据质量管理需要整合数据管理的所有领域，而不是将数据质量视为孤立的问题

应用数据治理原则：

有效的数据质量管理需要整合所有数据治理领域，而不是将数据质量视为孤立的问题。

识别，理解和分类您的核心数据资产： 如我们的类比所述，在这种情况下确定英雄，数据并清楚地表达要监控质量的意图，上下文和维度很重要。

超越纸张： 所有权不仅意味着将名称分配给数据资产。它涉及对人拥有的资产的深刻情感依恋，并确保它们始终处于最佳状态。

标准，政策，程序： 得到的测量结果得到监控。遵循此逻辑，为您的数据定义标准，策略和程序很重要。但是，这并不意味着从各种来源复制它们。他们应该对您的业务持不同意见。

护栏和控件： 建立护栏和控件以保护您的数据并遵守商业和法规的标准和政策至关重要。

过程： 流程必须涵盖端到端数据生命周期，以确保所有阶段的数据质量，并且工作流程必须支持流程。

操作模型： 最终，将通过流程和技术来保护数据的质量。这是操作模型发挥作用的地方。这不是官僚主义的设置，而是一群真正关心数据的人。

简而言之，我们必须完全喜欢我们热爱啤酒的方式。固定啤酒的质量至关重要，为此，重要的是要找出供应链管理中的啤酒质量出错。是否存在采购成分，酿造，包装，分销或零售问题的问题。该连锁店的有效管理对于酿酒厂以满足需求，最小化成本并维护产品至关重要。同样，为了固定和维持数据质量，绘制E2E数据生命周期的重要性很重要，以了解通过血统，可追溯性，可审核性或出处来了解数据上发生的变化和转换。

在资产负债表上，数据质量差的差异要比几百万美元更令人衰弱。因此，必须将数据质量作为一种生活方式，以使组织能够支持业务战略和监管合规性。