简介:10年DBA生涯,留下了很多经历和回忆。技术的,非技术的,都在这里
数据脱敏二三事
最近几个月,我都在做一件事情,就是牵头制定公司数据安全相关的各种规章制度和技术细节。而涉及到数据访问,去做数据脱敏就是一个无法回避的事情,尤其是金融行业,各种高敏感的客户资料、交易信息等等。不同的数据类别不同的安全要求,衍生出的脱敏方式也不尽相同。但是如果我仅仅只说这一句,那恐怕是不足以撑起这篇文章的,仍然还是要仔细讲述一下每个数据脱敏的目的。针对第二个方式,假如我就是需要年龄分布,或者要统计某个客户的总消费额,但是又不能让数据开发人员知道具体哪一笔金额,该怎么办,比如下表,我要求统计的时候每个userid消费的总金额不能有误,但是又不能让开发人员知道具体每一笔金额。那么我们把每个userid消费的总金额算出来,再通过随机分布来把数据打散,userid是1的总金额没有变化,不会影响到统计数据。反过来说,数据也不是非要脱敏,如果系统对应的权限控制粒度做得足够好,自带的加密打码功能足以应对,那么完全可以把这部分工作交给系统。
OceanBase嵌套物化视图,总账系统场景的替换方案
按照OceanBase官网的描述,4.3.5是面向AP场景第一个LTS版本。在V4.3.4的基础上,新版本继续完善产品能力,新增了对嵌套物化视图的支持,并完善了全文索引和向量索引功能。从官方文档对嵌套物化视图的描述,之前版本中,只能支持面向表的物化视图,而从此版本之后,允许用户基于已有的物化视图的查询,继续创建新的物化视图,也就是我们俗称的嵌套物化视图。可能会有朋友疑惑,这个功能的意义在哪里。而实际上,该功能在实际应用中,是很有价值的。本文即将以总账系统作为场景,来做一个替换方案。因为其核心的原因,伴随公司业务规模的提升,总账系统无疑要面对很大的压力并且会出现性能瓶颈。业务2,即报表部分,已经使用了Oracle的物化视图来计算各类会计科目和凭证,并且以日、月、总账三个维度创建了物化视图,并且定期刷新。所以,几个问题我们来尝试着用OceanBase解决。问题2,在OceanBase4.3.5里,物化视图可以支持行和列两种存储格式。
你这不是关系型数据库吗,怎么没法显示“关系”
故事发生在去年一次和业务部门的沟通中。业务部门同事希望我给出一个直观的解决办法,把客户经理、客户、客户经理助理、团队长的关系,用更加直观的方式展示,最好还能带一些基本信息进去,方便他们在日常工作中去追溯一些事情,也能直观体现每个岗位的实际工作成果。于是我写了一个视图,把团队长、客户经理、客户经理助理、客户的关联关系扔到一个大视图里。结果毫不意外地被业务部门否决了。临了,还被一个同事说,你这不是关系型数据库吗,怎么没法显示“关系”?我们平时所说的关系型数据库,实际上是基于关系模型和关系代数等理论的基础上,将现实中的各种实体以表、属性、行等诸多方式关联到一起。这和我们日常口头上的“关系”却又有着不同的指向。这个事情关系型数据库可以解决,但是却面对一个事情,这和我们日常生活的直觉是很不一样的,甚至有时候是反直觉的,例如:。边用于表示节点之间的关系,例如“朋友关系”“雇佣关系”“位于关系”等。
不确定的金三银四,看得到的未来机会
时间的流逝总是比我们预期快之又快,回看自己三年前写的有关求职方面的想法和建议,三年之后情况又有了相当大的变化,是时候在2025年的金三银四到来之前,写一篇在当下的文章,来聊聊今年的求职建议。我个人有自己的信息茧房,如果有描述不当或者和现实中存在较大差异的地方,还请大家指正。正月十五那天,一个在金融行业做财务的朋友跟我说,怎么感觉这半年的时间里,中国科技突然爆发了一样。那么,这中间带来了什么新机会?这一方面的机会将是很多DBA或者数据库工程师最适合的岗位。可能会是原厂的,也可能会是第三方服务商的,量大管饱,而且会极具挑战。DBA们除了管理数据库,还有一个隐藏技能,就是如何保证系统的高可用与稳定可靠性,这些都是大模型训练或者未来使用的必要因素。而因为文化差异以及工作配合的原因,招募中国工程师往往会成为中国企业首先考虑的。好处是我们能够确保简历推到了用人方,不论是团队成员还是HR,都可以看到我们简历,确定性
deepseek+RAGFlow,构建DBA小助手的本地知识库
书接上回《本地部署deepseek,创建你的DBA小助理》。要知道,deepseek的模型截止日期是2023年底,这就意味着,整个2024年所有新产生的文本都无法在deepseek中直接获取。另一方面,我们平时工作中有很多的配置、笔记、事故报告等等,都需要经常调用或者查阅。答案是有,存在着一个叫做本地知识库的东西,大模型可以通过把这部分文档读取后,写入到向量数据库中,而用于相关的提问。目前为止,大模型的知识库软件已经非常多,除了windows平台可以直接安装的cherrystudio或者anythingllm,还有其他更好用的吗?我给出的答案是:ragflow,这是一款国产开源的本地知识库解决方案
本地部署deepseek,创建你的DBA小助理
如果说公立新年之前的王炸是6代机,那么农历新年前的王炸恐怕就是deepseek,一个只用了不到600万美元,全员中国大学毕业,让英伟达单个交易日股价闪崩的大模型。开源免费,更是让开发者和使用者迫不及待尝鲜。app版我试了几天,从高等代数到数据库知识,都能高效率且专业解答,接下来,我们来部署一个本地版,并且创建一个DBA小助理,帮助我们来回答日常的数据库问题。注意如果是windows版,需要win10及以上版本,下载完成后简单的UI安装,注意默认在C盘,可以根据自己磁盘情况调整,我挪到了D盘。然后命令提行输入命令ollamarundeepseekr1,拉取模型,整个过程和你的网速有关,我的20GB下载了不到30分钟。然后输入ollamalist,就可以确认是否已经正常部署,Name一列正常显示deepseekr1:32b。如果是第一次拉取,那么会拉去完成后正常启动,如果重启过命令行或者电脑,同样可以用ollamarundeepseekr1来启动。
如果数据库是男士香水
新春将近,开始整理自己的柜子,恰好打翻了一瓶爱马仕尼罗河花园,瓶塞莫名其妙脱落,一小半瓶香水都洒在了一本PG的书上。那一刻突然灵感从脑子里喷涌而出再也止不住,香水,数据库,还是有诸多共性。如果说一个人的书架上,除了摆着自己专业的书,那么男士香水就是我书架上除了书以外最多的东西。一个DBA的职业生涯也许会遇到很多种数据库,那么每一种数据库,其实也和香水一样,有着自己的感觉和属性。博柏利伦敦既有男士香水,又有女士香水。第一次见到男士款时,被它极具英伦特色的格子外包装所吸引。无论在商务还是约会,只要在冬天爱马仕大地永远都是我首选的香水。谁说橙色的盒子只对女士有吸引力,至少对我来说,爱马仕大地曾经也是我向往过并购买的第一款男士香水。我在生产环境运维过的第一款数据库就是Oracle,直到今天仍然还在和它频繁打交道。直到今天,只要是商业数据库的选型,Oracle就和爱马仕大地一样,总是我第一个考虑的。
95后女演员,被劝退的DBA设想
实际上我们在讨论35岁职场危机的时候,在很多我们关注不到的领域里,25岁就已经进入了职场危机的年龄。周末追星成功,见到了一个我欣赏的95后小小小花,之所以叫小小小花,是因为论名气不能说没有,也可以聊胜于无。虽然论颜值妆后领出来参加任何技术活动都是全场最靓的那个,不会有之一那种。95后成名的已经被叫老师,00后的后辈不乏一夜爆红,05后的师妹们已经跃跃欲试。即便是靠吃经验喂大的DBA,伴随着个人成长速度放缓以及常年熬夜带来的身体透支,都会面临有一天跟不上工作需求的局面。她一边切着盘子里的蛋糕,一边问我一个让我听起来匪夷所思的问题:我现在转行做DBA,来得及吗?于是我们开始对账,想要从0开始成为一个DBA,需要学一些什么内容。很遗憾,这部分她的知识储备约等于无,内存和硬盘分不清,CPU和主板各自做什么也不知道。
阿布扎比的烟火,有你,有我
就在12月8日,F1最漫长的2024赛季落下帷幕。过程刺激,结果却毫无意外。迈凯轮时隔26年夺得车队冠军。另一方面,而中国车手周冠宇则是没能拿到2025赛季的席位,未来的他去哪里,还是一个未知数。在阿布扎比夜空的烟火下,有人欢庆当下的胜利,有人等待未知的命运。如同2024年的我们。晚上打开墨天轮国产数据库排行榜,毫无意外又少了一批,已经变成227个。无独有偶,今年围场也有一家引擎供应商停止了引擎研发,转而采购其他引擎制制造商成为客户车队。如果做个不恰当的比喻,他们和这个赛季结束之后,就不得不离开围场的一众车手有点相似。有因为换老板又被车拖累的周冠宇和博塔斯,有因为研发跑偏自己不适应而崩盘的佩雷兹,有撞车导致预算暴涨而不出成绩的萨金特。他们中的一些人未来也许还有机会重返围场,然而有的可能再没机会回来,甚至只能退役。烟花易冷,愿围场内外的周冠宇们,都能找到满意的下一站。
《数据库简史》适合什么样的读者
前一阵子断断续续读完了盖总赠送的《数据库简史》,从文笔到内容,都让人觉得收获满满。于是也安利给周围朋友看看。考虑到他不是计算机专业出身,所以第一张卡住倒也正常。因为第一章信息实在太密集,而且专业门槛也有,我跟他说,跳过去看第二章吧。从第二章开始,整个阅读的过程就显得平顺了很多,虽然仍旧存在着专业差异带来的学习门槛,但是有了足够铺垫以及更细节的介绍,第一章的情况没有再出现。我自己在这过程中,也在思考,这本《数据库简史》究竟适合什么样的读者。《数据库简史》也许是中文出版物里第一本把这些内容和故事一次性给我们讲清楚的。如果你和我一样,是一个数据库相关工作的从业者,这本书可以帮我们温故知新,并且站在盖总的肩膀上去看到远方的东西。数据库的分类、数据库的发展历程以及数据库的未来趋势,都在告诉我们,数据库从哪来,数据库现在是什么样子,数据库的未来在朝着什么方向发展。
一个OceanBase集群,两个证券行业场景,多个核心特性
场景与需求如果炒过股的朋友,可能会了解,我们日常的委托交易并不是实时完成结算交收,都是在日终完成集中清算的。这种方式可以减少交易成本和操作复杂性,提高资金使用效率,同时也降低了风险。而在清算阶段,用户
数据库也有正负升级?
今早的F1墨西哥站,以法拉利二连胜结束,秋休之后的红色跃马,一度强悍的让我不认识,从蒙扎赛道升级开始,一路在积分榜紧追,终于今早成功超越红牛来到第二。与之形成鲜明对比的是上半个赛季巴塞罗那站带来的一系列负升级。负升级是个什么概念?在赛车领域,可以近似理解为,赛车带来的升级套件非但没有提高竞争力,反而成为了性能桎梏,法拉利在过去几年每每负升级,让诸多铁佛寺心力交瘁。然而负升级其实不仅仅存在于赛车,在数据库这个赛场,也是常见的。我在做产品经理的时候,负升级是最为头疼的。有时候明明想法很好,然而计划永远赶不上变化,总有想象不到的点,让产品变成负升级。后面诸如稳定性、数据一致性、事务行为,都出现过多多少少的负升级,有的甚至在我离职之前都找不到最核心的原因。事后我和主开反思回顾,为什么会出现如此多的负升级?上周Oceanbase年度发布会,正式发布了两个版本,4.2.5和4.3.3。
在我的剧本里,你杀青了
曾几何时,我也曾抬头在幽默演讲的舞台上一次次挑战名次,曾几何时,我也曾低头在国产数据库岗位上沉思。低下头,没看到属于自己的名次;抬起头,没能等到自己的专属产品发布会。我倾向于是有的。在国产数据库发展的几年里,有的产品仿佛带着特定的使命和剧本而来。拿的什么剧本无从得知,但是属于他们的故事,杀青了。其他行业我了解不多,主要关注了Oceanbase此次年度发布会在金融行业的成绩单。作为曾经的产品经理,我对面前的Oceanbase产品经理既羡慕又敬佩。然而此时此刻,它竟然要在交通银行的数据库剧本里,杀青了。那一刻我无比期待,有一天当我用Oceanbase替掉这套已经跟不上时代的引擎时的感觉,甚至想采访一下未来的自己,在我的剧本里,它杀青之后的感受。灿烂人生的篇章,注定在迷茫和希望之中不断迎来杀青和新剧本,最终必然海阔天空。
二号车手的职责
比利时站结束之后,F1进入了夏休期。夏休期刚开始,红牛又官宣了二号车手佩雷兹留队的消息。顾名思义,二号车手在一支车队更多的职责就是帮一号车手做好辅助。一个优秀的一号车手,都需要有一个同样优秀的二号车手来辅助,例如舒马赫和巴里切罗、汉密尔顿和博塔斯、维斯塔潘和佩雷兹。主岗的DBA如果休假或者生病甚至跳槽,总要有人能短期内接管过来。在经历了多年的主备岗建设以及过去大半年我以备岗DBA身份的重新适应,对于这个角色职责也有了更多的认知,还是那句老话,不一定对,抛砖引玉:。职责一,岗位备份。职责二,紧急响应。比如在主岗DBA不在岗的时候,出现了应急事故,备岗DBA就是首选。职责三,查漏补缺。职责四,分摊工作。职责五,最后兜底。第二类是稳定型,经验丰富表现稳定野心小愿意心甘情愿给一号车手做辅助的成熟车手,比如巴里切罗。而二号车手,或者说备岗DBA,心态同样重要。既要时刻准备着,又要注意和主岗DBA的边界。
OceanBase在证券行业的测试与发展猜想
最近IDC公布了2023年分布式数据库在金融行业的市场份额报告,作为既涉及过国产数据库工作,又在金融行业继续从业的人,也是第一时间去阅读了这份报告。虽然我以前在银行短暂工作过2年,但是早已经是多年以前的事,所以银行板块的东西,大概浏览就过去了。而证券行业则是我重点关注的部分。报告把保险和证券放到一起,一方面是这两个行业的市场占比比起银行来说都小很多,另一方面,也是因为业务类型和银行有着较大差异。4月下旬,我在去上海看F1的间隙,从嘉定跑到七宝听了OceanBase的新版本发布会。OceanBase的租户是严格的逻辑隔离,这一点我很喜欢。对于OceanBase的未来在证券行业的发展与猜想,也是我这段时间一直在思考的。如果OceanBase的RTO以及交易延时都能做到足够好,我相信核心替换并不是什么问题。期待OceanBase在5.0时代的时候,能够带来更多惊喜,也能为我们在证券行业提供更多成熟高效低成本的案例。
古今天下,岂有四十年之DBA乎?
昨天下班前,各个群里都不约而同开始讨论起延后退休方案。80后的朋友庆幸自己早生几年,90后的朋友表示怎么这事都让我们摊上了,70后的朋友默默吃瓜。然后我默默算了一个事情,如果一个90年以后生的人,25岁研究生毕业,正好工作40年退休,理论上,他可以足足做40年DBA。那么问题来了,这个世界上,真的有40年的DBA吗?说起延后退休,欧洲人有话说,英法德都已经突破了60,瑞士已经65,而丹麦则是67。在率先进入低生育率的欧洲,延后退休已经有了足够长的时间。而我在欧洲人的企业工作的几年来看,甚至有个别欧洲人在到了退休年纪之后,还在继续工作。我私下里和他简单聊过,在差不多50岁之前,他一直在做一线DBA,当然不用值夜班。如今的时代,变化太快,在公有云和AI双重夹击下,DBA们的未来也在充满着不确定的因素。在《雍正王朝》里,废太子胤礽说出了那句“古今天下,岂有四十年之太子乎”的梗,以至于后来查尔斯登机,仍然在被大家侃侃而谈。
转述给国产数据库DBA的八句话
还是忍住了在标题后面半句“读到哪句心痛了”,熟悉这个句式的估计都是校内网老用户。最近一直在期待国产3A大作《黑神话悟空》,掰着指头数还有一个月。除了都是高投入、国产,其实差异非常大,其中一项区别就是,大部分3A大作的口碑在发售之后基本就定格了,而一个数据库软件,在最初的发版之时,可能还是口碑的低谷。作为3A游戏和国产数据库的双重用户,我在反复看了多变黑猴预告片之后,想转述黄眉老佛的八句话,给各位国产数据库的DBA们。此时的国产数据库DBA们,就得物理上和心理上彻底杀死原有的数据库,以及对它们的执念,否则心中的各种情绪,会干扰到正常的工作。很多时候,我们作为DBA,总希望独立解决事故和难题。假设张三遇到了数据库事故,独立解决了问题,系统宕机4小时。我相信很多国产数据库DBA,收到的精神折磨远比成熟的数据库产品DBA要来的重。我遇到过一些国产数据库的DBA,跟我说,领导出于非技术原因,拍板定了使用国产数据库。
那么彼时彼刻,恰如此时此刻
上周六,在前同事的邀请之下,我给几位在校的同学做了一些分享,主要是聊聊当前数据库行业在中国的现状以及给他们的一些职业建议,这当中用到了墨天轮的《2023年中国数据库年度行业分析报告》,通过这次分享我也发现,这篇分析报告真的是很多萌新了解这个行业最好的内容。分享的过程中,自己当年入行所走过的一些事后看起来正确的路和弯路,也历历在目。临了,我给几位同学提了几点建议,想了想,还是想把它们也落诸文字,既是给自己留个档也是希望大家能给我一些指正,因为即便是现在我认为正确的道路,在未来仍然有可能是错误的。十几年前我毕业就选择DBA,实际上并不了解历史进程,纯粹是个人兴趣,现在回过头看,实属撞大运赶上了OracleDBA最好的年月。刚毕业的时候,那会在各个行业,OracleDBA都是稀缺的,会装RAC就能找工作。DBA这个岗位在那几年里增加了很多,但是需求却没有明显增长。如果市面上产品太多挑花眼了,那么学习Oracle/MySQL/PG三种中的任何一种,都不会错。
我是想站着,还把钱赚了
最近朋友圈里的各位大佬,都在纷纷展示自己新一年的OracleACE,说实话,着实羡慕,但是我也很清楚,自己天资有限,很难企及;另一件事情,就是达梦的上市,这是国产数据库的标杆。从以往其他产业国产平替的进程来看,相关产业的从业人员,都会有稳定的薪资收入。已经3年不做全职DBA的我,想当然地觉得,OracleACE的头衔和国产数据库的发展,都会给相关从业者带来更高的薪资。然而在我和一位做ACE的朋友聊了之后,得到的答案是否定的。是的,当了ACE不一定涨工资;另一个层面,国产数据库的发展,带来DBA需求的增加,也并没有带来薪资的提升,这已经成为了数据库从业者的共识。这里面除了数据库产品的产能过剩,其实还有人才供应的过剩,或者说,就业市场的DBA“太多了”。谁不想站着把钱赚了,但是在这个职场越久,越感觉顺风顺水升职加薪,从来都只是小概率事件,动荡和停滞才是大部分人的常态。
专栏作者

数据库资讯
openGauss 7.0.0-RC1 版本正式发布!
6小时前
Oracle 借助 NVIDIA AI Enterprise 扩展分布式云功能
6小时前
DataWorks数据集成同步至Hologres能力介绍
8小时前
说个大事,Halo开源
9小时前
奇点时刻・数智跃迁丨一图看懂云和恩墨2025春季产品发布会创新要点
1天前
高效向量检索实践:阿里云百炼生成+Milvus存储技术方案解析
1天前
本月热门
原创2025年3月中国数据库排行榜:PolarDB夺魁傲群雄,GoldenDB晋位入三强
墨天轮编辑部
2025-03-11
原创【专家观点】罗敏:从理论到真实SQL,感受DeepSeek如何做性能优化
墨天轮编辑部
2025-03-06
原创【专家有话说第五期】在不同年龄段,DBA应该怎样规划自己的职业发展?
墨天轮编辑部
2025-03-13
原创01. HarmonyOS Next应用开发实践与技术解析
若城
2025-03-04
原创DeepSeek R1助力,腾讯AI代码助手解锁音乐创作新
若城
2025-03-05
原创03 HarmonyOS Next仪表盘案例详解(二):进阶篇
若城
2025-03-04
近期活动
ACDU读书会-大咖荐书第一期
04/08 19:30 0人报名
【开始报名啦】4月12日 TiDB社区活动在南京!传统技术栈替换和 AI 浪潮正当时,面向未来的国产数据库怎么选择?
04/12 14:00 0人报名
Apache Cloudberry™ (Incubating) Meetup · 杭州
04/19 14:00 0人报名