数据无处不在
在组织中,数据是一直需要被管理的。随着技术的进步,数据管理显得越来越重要。数据在各个组织中普遍存在,几乎每个业务流程——从获取客户到交易采购,再到获取客户反馈和售后服务,都使用数据。这些流程同时也产生数据。大多数数据是电子形式的,这意味着它们是可扩展的:数据可以被大量存储、操作、集成和聚合,而后用于不同领域,包括商务智能和预测分析。数据还为组织的合规(或不合规)提供证据。
数字化转型能使组织通过使用数据来创新产品、共享信息、积累知识,并提升自身的成功概率。随着技术的迅速发展,人类产生、获取和挖掘有意义的数据的能力持续增强,同时对数据进行有效管理的需求也在不断增加。
数据是企业的资产
资产是一种经济资源,可以被拥有、使用,并产生价值。资产通常被认为是财产,可以变现为价值。数据被广泛认为是企业的资产,然而大部分组织在将数据当作资产进行管理时,还是遇到了一些问题,比如,大多数组织还没有把数据资产放入资产负债表中。
如果问问那些企业高级管理人员,他们都会说数据是宝贵的资产。数据不仅可以帮助组织运营业务,还可以帮助他们洞察客户、产品和服务情况。但是研究表明,很少有组织真正将数据以资产的形式进行管理。对一些组织而言,数据甚至可能是一种负担。无法管理数据相当于无法管理资产。这会导致企业浪费资源,失去市场机会。管理不善的数据还存在道德风险和安全风险。
由于数据与其他资产不同,即使将数据视为资产的那些高级管理人员恐怕也有很多困惑。当然,数据管理的主要驱动力是能使组织从数据中获取价值,就像对财务和固定资产的有效管理能使组织从这些资产中获取价值一样。从数据中获取价值,不可能在真空中发生,这需要对数据进行常态化管理,需要组织高度重视数据,并投入人力和物力。
数据管理与技术管理
数据管理是数据开发、实施和监督的综合过程,其中包括数据的计划、策略、流程和实践等。其目的是在整个数据生命周期内交付、控制、保护、输出数据,并因此提升数据的价值。
你可能会问:“这不是我们的信息技术部门已经做过的事吗?”不幸的是,信息技术部门(以下简称“IT部门”)并没有做。IT部门通常不关注数据,它们专注于技术、技术流程、构建应用程序及工具使用。从历史上看,IT部门并未关注由其构建的应用程序产生的数据。一定程度上来说,IT部门对数据本身并不敏感(因为IT部门会说,它们对数据没有控制权)——尽管许多数据管理功能都是IT部门工作内容的一部分。
虽然数据管理高度依赖于技术并与技术管理交叉,但它的许多内容与技术工具及技术流程并没有什么关系。
那么,数据管理到底要做什么,对数据进行有效管理又意味着什么?与所有管理活动一样,为实现组织的目标,数据管理涉及行动规划和资源投入等。数据管理活动本身包括技术方面,比如确保大型数据库可访问、系统的性能和安全等;也包括一些高度战略性的活动,比如如何通过数据的创新应用来扩大市场份额。这些管理活动不仅能帮助组织提供高质量、可靠的数据,还能确保授权用户可以访问这些数据并防止数据滥用。
数据管理工作内容
数据管理的内容可以分为三大类:有些注重数据治理活动(Governance Activities),确保组织对数据做出合理、一致的决策;有些注重数据的生命周期活动(Lifecycle Activities),管理从数据的获取到数据的消除整个过程;有些注重数据的基础活动(Foundational Activities),包括数据的管理、维护和使用,如图
(1)数据治理活动。这些活动帮助控制数据的开发、降低数据使用带来的风险,同时使组织能够战略性地利用数据。通过这些活动建立数据决策权和责任系统,以便组织可以跨业务部门做出一致的决策。数据治理活动包括:
建立数据战略;
设置相关原则;
数据管理专责(Stewarding);
定义数据在组织中的价值;
为组织能从数据中获取更多价值做准备,从而可借助数据管理实践的不断成熟和企业文化变革影响组织对数据的认知方式。
(2)数据生命周期活动。这些活动侧重于数据的规划和设计,确保数据得到有效维护并使用。数据的使用通常会带来提升和创新。这些提升和创新都有自己的生命周期要求。数据生命周期活动包括:
数据架构;
数据建模;
构建和管理数据仓库和数据集市;
集成数据,为商务智能分析师和数据科学家使用;
管理关键的共享数据的生命周期,如参考数据和主数据。
(3)数据基础活动。这些活动贯穿于数据管理的整个生命周期,是数据管理不可或缺的一部分。数据基础活动包括:
确保数据受到保护;
管理元数据(理解和使用数据所需的知识);
管理数据质量。
数据基础活动必须作为规划和设计的一部分加以考虑,并且必须在操作上能够落地。这些活动需要得到数据治理部门的支持,同时也应该成为促进数据治理获得成功的一部分因素。
数据管理知识领域
数据管理工作由从事数据管理职能或知识领域的人员执行,这需要不同的技能和专业知识。DAMA定义了11个知识领域,如图
(1)数据治理(Data Governance)。通过建立数据决策的权限和责任,为数据管理活动和职能提供整体的指导和监督。这些权限和责任的建立应该考虑到组织的整体需求。
(2)数据架构(Data Architecture)。它是管理数据资产的“蓝图”,指基于组织的战略目标,建立符合战略需求的数据构架。
(3)数据建模和设计(Data Modeling and Design)。这些活动是探索、分析、表示和沟通数据需求的一个过程,最后表现为数据模型。
(4)数据存储和操作(Data Storage and Operations)。这些活动包括数据存储的设计、实施和支持,目的是达到利益最大化。这些活动服务于数据的整个生命周期——从数据规划到数据消除。
(5)数据安全(Data Security)。这一活动确保数据隐私和安全。数据的获得和使用必须要有安全的保障。
(6)数据整合与互操作(Data Integration&Interoperability)。这一领域包括存在于不同数据系统、应用程序和组织之内,以及组织之间的数据迁移和集成等。
(7)文档和内容管理(Document and Content Management)。通过规划、实施和监管活动,来管理那些存储于非结构化介质中的数据和它们的生命周期,尤其是那些与法律及合规性相关的文件的管理。
(8)参考数据和主数据管理(Reference and Master Data Management)。这一活动涉及对核心关键共享数据的持续更新和维护,以便得到最准确、及时并和基础业务相关的数据。
(9)数据仓库和商务智能(Data Warehousing and Business Intelligence)。通过计划、实施和对系统流程的控制活动,为管理决策提供数据量化支持,使相关工作人员能够通过数据分析和数据报告获取价值。
(10)元数据管理(Metadata Management)。通过规划、实施和控制活动,支持访问高质量的元数据集,包括定义、模型、数据流和其他对理解数据及其创建、维护和访问至关重要的信息。
(11)数据质量管理(Data Quality Management)。这一活动包括规划和实施质量管理技术,以衡量、评估和改善组织使用的数据。
以上这些知识领域代表了数据管理的核心内容。任何期望从数据中获取价值的组织,都必须通过从事这些活动来进行数据管理。当然,数据管理活动的内容也在不断发展。我们创建和使用数据的能力的变化意味着其他内容也可以视为数据管理的“知识领域”(如数据伦理、数据科学、大数据管理和前沿技术)。
在这些知识领域工作的数据管理专业人员可以帮助组织:
(1)了解和支持企业及其利益相关者(包括客户、员工和业务合作伙伴)的信息需求。
(2)获取、存储和确保数据的完整性和质量,以支持企业能够使用这些数据。
(3)通过防止不当访问、操作或使用,来确保数据的安全性、隐私性和机密性。
--摘自《穿越数据的迷宫》