在当今复杂的数据环境中,分析模型并不独立。他们有独特的需求,必须在政策中加以捕捉,通过 ML Ops 平台实现自动化,并定期审查和更新,以适应不断变化的技术能力和市场条件。
现代数据和分析治理是关于通过自动化以可重复的方法轻量级应用策略。仪表是我们数据管道的一部分,而不是库存和报告符合政策和监管要求的次要行动。
数据治理团队面临的最困难的挑战之一通常是对在遗留技术平台中存储和处理的数据进行治理。传统环境通常为组织保存最关键和最高风险的数据。已经存在了几代的金融服务、保险和制造组织通常仍然严重依赖大型机或遗留 UNIX 系统来实现核心处理和推动数据治理需求的大量合规性需求。
根据组织、技术采用水平和现代化活动计划,遗产可以具有多种含义。从数据治理的角度来看,遗留系统是那些在围绕数据的访问、保留、库存或质量测量实施和自动化控制时会增加复杂性、时间或成本的系统。遗留系统通常会受到有限级别的供应商支持,收到安全补丁,但不会对功能进行重大更新。
由于与现代数据治理工具集成的能力有限,并且对系统流程的可见性有限,遗留平台在组织中创造了一个风险点,必须通过替代方式对其进行管理,以确保在它们存储和处理的数据上实施策略。第一个权宜之计通常是审查日志、创建访问控制规则和删除数据以符合数据治理策略的手动流程。虽然这可以满足大多数治理需求,但在规模上它可能很麻烦且容易出错。
将遗留平台纳入现代数据治理计划的其他有效方法包括:
人工审查和检查的自动化——虽然许多遗留平台缺乏全面的治理能力,但它们能够自动化更简单的任务,如日志审查和验证,以及访问验证和服务可用性,为治理和可见性提供了胜利。检查应包括自动定期审查谁有权访问哪些数据,他们是否需要进行访问,以及是否发现任何错误条件以尝试访问请求被拒绝的数据。
现代化计划——除了治理缺陷外,遗留平台通常还存在风险,因为缺乏市场可用的运营技能、缺乏增加功能的升级路径以及运营和支持的高成本。虽然这些系统的现代化不会在一夜之间发生,但淘汰这些系统的长期持续努力将通过允许引入现代平台和集成技术为治理计划提供最大的好处。
接受风险,减少义务——很多时候,组织将通过更改数据保留、数据混淆和访问批准之间的时间政策来接受遗留系统的额外风险层。虽然这些应该是暂时的,并用于最大限度地减少政策和执法验证的运营负担,但它们可以推动组织的其他部分加快现代化活动,以消除额外的风险。
面向遗留平台的现代服务——许多组织将构建微服务以位于遗留平台之前,从而最大限度地减少直接访问它们的用户和系统的数量。这种将遗留系统与现代架构模式和技术相结合的方法可以提供治理优势、性能优势,并能够分离核心功能,以便以后从遗留系统迁移到目标最先进的平台。
大多数组织的最佳解决方案将是上述项目的组合。解决方案的正确组合将取决于数据风险、平台能力、运营团队规模和吸收手动流程开销的能力。最终目标是确保在读取、转换、存储或分析数据时遵守政策和监管义务。然后,方法必须包括报告这些遗留平台上的数据消耗的能力。
原文标题:DATA GOVERNANCE IN LEGACY ENVIRONMENTS
原文作者:Joey Jablonski
原文链接:https://blog.pythian.com/data-governance-in-legacy-environments/




