目录

• 产品简介
• 产品工作原理
• Archiving软件功能
• 所属公司
• 相关资料

产品简介

Archiving 是DSG开发的专业历史归档软件，为用户解决下列实际问题：

• 分离历史数据，实现性能提升
  同样一个查询语句，在10,000条记录的表上执行的时间比在10,000,000条记录的表上执行的时间快约100倍。因此，如果数据库有大量的数据堆积，无论这些数据是否被使用，都会导致系统越来越慢，响应能力越来越差。
  通过Archiving归档系统的定期转储，可以使历史数据及时分离，从而减少每个业务逻辑的执行时间，大幅提升整体系统效率。这种效率的提升幅度是采用数据库参数调整等常规优化手段无法达到的。

• 分担系统压力，实现业务分担
  对于绝大部分业务系统而言，仅仅将数据转移到归档数据库中是不够的。大量查询、统计以及数据分析处理等不仅需要访问当前数据，而且需要使用已经归档的数据。
  因此，归档数据必须支持在线访问，可以通过现有的应用程序或者新开发的业务软件进行查询、统计、抽取和分析。在此情况下，客户可以将一部分原来在主系统上执行的业务转移到归档系统来执行，既能显著提升主系统效率，也能获得更高的数据质量。

• 减小系统规模，缩短维护和修复时间
  大容量的数据对于备份恢复、容灾及系统优化都造成挑战。对于一个600GB的数据库，发生故障后，全库恢复的时间就需要数小时。如果实施归档，只保留100GB的常用数据，则备份与恢复只需要数十分钟。
  通常不同数据的重要性不同，因此需要采取的数据保护策略也不同。比如，当前数据可能需要每天备份以确保可恢复到任意时间点；而历史数据可能仅需要备份一次，因为它们基本上不变化。
  通过对数据进行归档和分离，并针对不同重要性的数据采用不同的策略，可以大幅降低系统备份、恢复、容灾及优化过程的复杂度，大幅减少系统停顿时间。

• 缓解扩容压力，优化投入产出
  数据量的快速增长导致用户的主存储系统需要不断扩容以满足数据增长的需要。存储设备的扩容容量是有限制的，不可能无限扩展；同时存储产品推陈出新，过一段时间就会有型号停产，因此扩容不是简单的加磁盘的过程。扩容过程中涉及选用不同品牌和型号的兼容性问题、数据迁移和备份问题、系统重新优化调试问题等。
  企业在数据存储中最大的不合理性在于不断采购更新的、性能更好的、更昂贵的存储设备，实际上不是因为当前处理的数据量在显著增加，而是因为历史的、访问越来越少的数据在不断累积。换言之，我们正在使用性能越来越高的设备来满足使用频率越来越低的数据的存储要求。
  通过归档可以定时将不再改变或者访问很少的数据迁移出去，从而保证核心数据库的高效率和低容量。

产品工作原理

Archiving归档软件提供定时归档和实时归档两种归档模式。Archiving归档软件的工作原理如下图所示，黑色线条表示定时归档流程，紫色线条表示实时归档流程。

定时归档

在待归档数据不变的情况下，直接从业务数据库中将指定表中的数据一次性迁移到归档数据库并进行数据核对和业务库删除处理，该过程可根据设定的策略自动定时执行。为实现定时归档，Archiving采用了数据定时归档技术、数据验证与修复技术。

实时归档

当待归档数据在某段时间内发生持续变化更新，但经过这段时间后不再变化。则在这种情况下，归档数据库不仅需要归档数据，还需要同步业务数据库的最新数据用于统计、查询等操作。Archiving软件从数据库日志中分析相应的变化信息，并迁移到归档数据库中。当系统运行到指定时间时，执行业务数据库的数据删除操作。Archiving采用数据库日志实时分析、数据验证与修复技术实现实时归档。

Archiving软件功能

• 数据迁移和归档
  Archiving实现历史数据定时迁移和归档、数据实时迁移和归档。用户可以根据需要设置数据归档/迁移条件和归档策略格式。Archiving支持按字段值迁移、按选定条件迁移、按关联条件迁移，同时Archiving可根据crontab格式定义数据迁移和数据删除的时间规则，可精确到分钟。

• 数据自动验证
  在归档过程中Archiving自动进行数据验证，包括建立数据映射关系、生成数据校验值并对校验值进行对比。如果发现有不一致的数据，软件自动进行记录。

• 数据故障修补
  Archiving在发现数据不一致时，自动对数据进行修补。数据修补以与源端保持一致为原则，即修补完成后归档端数据与源端相同。数据修补完成后自动进行增量验证。

• 数据删除
  Archiving软件提供两种方式对源端数据进行删除：
  直接在源端执行删除。
  形成删除脚本，由用户执行删除操作。

• 系统优化
  Archiving软件完成归档删除后，可以通过下列两种方式对系统进行优化，提高系统性能。
  对源端表进行分析(Analyze)，形成新的统计信息。
  重新创建源端表上的索引，提高系统索引效率、减少碎片。

• 执行报表查看
  对于数据迁移、删除等定制操作，Archiving软件记录相应的信息并提供报表。用户可通过查看报表了解归档数据量、不一致的数据信息、数据修复情况、归档库数据量等信息。

• 数据在线访问
  Archiving提供数据在线访问功能，用户可以通过现有的应用程序或者新开发的业务软件对归档系统的数据进行查询、统计、抽取和分析操作。

所属公司

迪思杰（北京）数码技术有限公司

公司简介

迪思杰(北京)数据管理技术有限公司（简称：DSG），于2006年在北京成立。目前在北京、成都、西安设有研发中心，在国内24省设有办事处或技术支持中心。DSG立足中国、是中国一家拥有全面的数据管理自主知识产权的软件产品公司，是中国的数据安全、数据采集共享、数据管理领域领先的公司！

DSG公司是、并继续致力于成为全球领先的数据治理管理软件提供商，致力于为大型信息系统和数据中心提供全球领先的数据备份、数据容灾、数据抽取共享交换、数据治理、数据中台,、智慧应用开发等一体化的数据信息管理平台解决方案。

相关资料

Archiving 官方链接：http://www.dsgdata.com/page/product.html