暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片

2025年Halo开年大事件,数据迁移平台开源!!

贾桂权 2025-01-03
122

关注Halo用户们:

 大家好!

  各位朋友好久不见,2024年感谢大家对Halo的认可和关注,在此2025年开年之际,对Halo的使用者和合作伙伴表示衷心的感谢。
  首先给各位同仁以及用户汇报下,回望过去的一年,Halo秉持初心,我们深知国产数据库行业的挑战与机遇并存。在大家的陪伴下,我们共同见证了技术的飞跃,完成了HSM的开发与测试、在华东以及华南和东北地区完成市场拓展,POC测试过后,所有用户均表达对Halo的高度认可。
  在生态建设方面,Halo立足当下完成ISV合作伙伴的拓展,并且与高校达成战略合作,完成了教育行业的从0到1。我们始终坚持技术创新,不断优化产品性能,提升用户体验,力求为用户带来更加高效、稳定、安全的数据库解决方案。

  大家的反馈是我们宝贵的财富。每一次的建议和意见,都促使我们不断反思、改进和成长。我们深知,只有深入了解您的需求,才能为您提供更加贴心、精准的服务。我们始终将用户至上作为企业的核心价值观,致力于成为您最值得信赖的合作伙伴。在2024年,Halo14版本完成无数次BUG修复与功能增加。以及16版本的开发和发布工作,在此也对各位陪伴Halo成长的大家表示衷心的感谢。

  展望未来,我们将持续投入研发,推动国产数据库技术的创新与突破。密切关注市场动态,紧跟行业发展趋势,不断优化产品和服务,以满足大家日益增长的需求。同时,我们也期待与您携手共进,共同探索新的业务领域,创造更加辉煌的成就。
  在此2025年新年开年之际,Halo决定,将数据迁移平台工具,完全开源!在这个特别的时刻,我们宣布,我司的数据迁移工具将正式完全开源!这是一个我们期待已久的决定,也是我们回馈广大用户、推动数据库技术发展的重要举措。

  一直以来,我们深知数据迁移对于企业和个人用户的重要性。它不仅是技术升级的关键步骤,更是确保业务连续性和数据完整性的重要环节。因此,我们投入了大量的人力和物力,研发了这款高效、稳定、易用的数据迁移工具,旨在帮助用户轻松应对各种数据迁移挑战。

  现在,我们决定将这款工具完全开源,让更多的开发者、企业和个人能够免费使用、修改和分发它。我们相信,开源将激发更多的创新和合作,推动数据库技术的快速发展。同时,我们也期待更多的用户能够参与到我们的开源社区中来,共同完善和优化这款工具,为数据库技术的发展贡献自己的力量。

  在此,我要向所有一直以来支持我们的用户表示衷心的感谢。是你们的信任和支持,让我们能够不断前行,不断突破自我。未来,我们将继续坚持开放、合作、创新的发展理念,为用户提供更加优质、高效的产品和服务。

  最后,我再次呼吁大家积极参与到我们的开源社区中来,共同推动数据库技术的发展和进步。让我们携手共创更加美好的未来!

                          

                              杭州易景数通科技有限公司

链接:https://github.com/HaloLab001/hmt-web



数据迁移平台说明:


Hmt-Web

HaloMigrationTool 羲和数据库迁移工具。

从Oracle、MySQL等多种数据库迁移到羲和数据库,这包括自定义类型、表结构、约束、索引、触发器等全部数据库对象完整迁移到羲和数据库,但不同数据库的语法是有差异的,迁移的过程中可能涉及到大小写规则、数据类型和精度、分区表、触发器、序列等语法大量改造工作,还需要迁移大量的表数据,同时保证数据的完整性。

羲和数据库迁移工具致力于利用简洁直观的web操作界面来高效、稳定地完成Oracle、MySQL等多种数据库到羲和数据库之间的数据迁移功能。

安装要求

在开始构建和安装过程之前,请确保满足以下先决条件:

  • Java8 (建议jdk1.8.0_151以上)
  • Maven (建议3.6.1以上)
  • hmt 工具包
  • Python2.7 (支持Python3需要修改替换hmt/bin下面的三个python文件,替换文件在doc/hmt-web/hmt-python3下)
  • Halo14 或更高的版本 (适用于存储库)
  • Windows、Linux

主要功能支持说明

  • 元数据迁移: 源端Oracle、MySQL 迁移至 目标端Halo
  • 全量数据同步: Oracle、MySQL、SqlServer、Db2、PostgreSql、DaMeng、Halo (都支持反向同步数据)
  • 增量数据同步: Oracle(目前测试支持11g-19c)、MySQL、SqlServer、PostgreSql、Halo (目前只测试过以上数据源同步到Halo以及反向同步)
  • 数据对比: 源端Oracle、MySQL 至 目标端Halo
  • 一键迁移: 源端Oracle、MySQL 至 目标端Halo

架构说明

  • Hmt-Web: 提供简洁直观的web操作界面,通过页面完成迁移任务。
  • 调度中心: 页面菜单栏提供数据源管理、任务管理、统计报表等多个功能模块。
  • 执行器集群: 支持执行器多节点路由策略选择,支持超时控制、失败重试、失败告警、任务依赖,执行器CPU.内存.负载的监控等。
  • Hmt: 采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架中。
  • Reader: 数据采集模块,负责采集源端数据源的数据,将数据发送至FrameWork。
  • Writer: 数据写入模块,负责不断的向FrameWork取数据,并将数据写入目标端。
  • FrameWork: 用于连接reader和writer,作为两者的数据传输通道,处理缓冲,流控,并发,转换等核心技术问题。

执行概念

将迁移工具部署后,启动hmt-web服务,通过web界面建立迁移任务并执行,通过配置过的并发度将任务批量下发到hmt数据同步模块,将不同数据源的同步抽象为从源头数据源读取数据的插件,以及向目标端写入数据的Writer插件,由FrameWork连接Reader和Writer,作为两者的数据传输通道,处理缓冲,流控,并发,转换等,Writer不断的向FrameWork取数据并写入目标端,从而完成数据迁移任务。 "# hmt-web" "# hmt-web"

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论