计算机科学与发展-基于持久性内存和SSD的后端存储MixStore_屠要峰.pdf
免费下载
计 算 机 研 究 与 发 展
ＤＯＩ
：
１０．７５４４
!
ｉｓｓｎ１０００
－
１２３９ ． ２０２１ ．２０２００３８９
Ｊｏｕｒｎａｌ
ｏｆ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｒｅｓｅａｒｃｈ
ａｎｄ
Ｄｅｖｅｌｏ
ｐ
ｍｅｎｔ
５８
（
２
）：
４０６
－
４１７
，
２０２１
收稿日期
：
２０２０
－
０６
－
０７
；
修回日期
：
２０２０
－
０８
－
１７
基金项目
：
国家重点研发计划项目
（
２０１８ Ｙ Ｆ Ｂ１００３３０１
）；
江苏省重点研发计划项目
（
Ｂ Ｅ２０１９０１２
）
Ｔｈｉｓ
ｗｏｒｋ
ｗａｓ
ｓｕ
ｐｐ
ｏｒｔｅｄ
ｂ
ｙ
ｔｈｅ
Ｎａｔｉｏｎａｌ
Ｋｅ
ｙ
Ｒｅｓｅａｒｃｈ
ａｎｄ
Ｄｅｖｅｌｏ
ｐ
ｍｅｎｔ
Ｐｒｏ
ｇ
ｒａｍ
ｏｆ
Ｃｈｉｎａ
（
２０１８ Ｙ Ｆ Ｂ１００３３０１
）
ａｎｄ
ｔｈｅ
Ｋｅ
ｙ
Ｒｅｓｅａｒｃｈ
ａｎｄ
Ｄｅｖｅｌｏ
ｐ
ｍｅｎｔ
Ｐｒｏ
ｇ
ｒａｍ
ｏｆ
Ｊｉａｎ
ｇ
ｓｕ
Ｐｒｏｖｉｎｃｅ
（
Ｂ Ｅ２０１９０１２
）
．
通信作者
：
韩银俊
（
ｈａｎ．
ｙ
ｉｎ
ｊ
ｕｎ
"
ｚｔｅ．ｃｏｍ．ｃｎ
）
基于持久性内存和
ＳＳＤ
的后端存储
ＭｉｘＳｔｏｒｅ
屠要峰
１
，
２
陈正华
２
韩银俊
２
陈
兵
１
关东海
１
１
（
南京航空航天大学计算机科学 与技术学院
南京
２１１１０６
）
２
（
中兴通讯股份有限公司
南京
２１００１２
）
（
ｔｕ．
ｙ
ａｏｆｅｎ
ｇ
"
ｚｔｅ．ｃｏｍ．ｃｎ
）
ＭｉｘＳｔｏｒｅ
：
Ｂａｃｋ
－
Ｅｎｄ
Ｓｔｏｒａ
ｇ
ｅ
Ｂａｓｅｄ
ｏｎ
Ｐｅｒｓｉｓｔｅｎｔ
Ｍｅｍｏｒ
ｙ
ａｎｄ
ＳＳＤ
Ｔｕ
Ｙａｏｆｅｎ
ｇ
１
，
２
，
Ｃｈｅｎ
Ｚｈｅｎ
ｇ
ｈｕａ
２
，
Ｈａｎ
Ｙｉｎ
ｊ
ｕｎ
２
，
Ｃｈｅｎ
Ｂｉｎ
ｇ
１
，
ａｎｄ
Ｇｕａｎ
Ｄｏｎ
ｇ
ｈａｉ
１
１
（
Ｄｅ
ｐ
ａｒｔｍｅｎｔ
ｏ
ｆ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｓｃｉｅｎｃｅ
ａｎｄ
Ｔｅｃｈｎｏｌｏ
ｇｙ
，
Ｎａｎ
ｊ
ｉｎ
ｇ
Ｕｎｉｖｅｒｓｉｔ
ｙ
ｏ
ｆ
Ａｅｒｏｎａｕｔｉｃｓ
ａｎｄ
Ａｓｔｒｏｎａｕｔｉｃｓ
，
Ｎａｎ
ｊ
ｉｎ
ｇ
２１１１０６
）
２
（
ＺＴＥ
Ｃｏｒ
ｐ
ｏｒａｔｉｏｎ
，
Ｎａｎ
ｊ
ｉｎ
ｇ
２１００１２
）
Ａｂｓｔｒａｃｔ
Ｐｅｒｓｉｓｔｅｎｔ
ｍｅｍｏｒ
ｙ
（
ＰＭＥＭ
）
ｈａｓ
ｂｏｔｈ
ｔｈｅ
ｌｏｗ
－
ｌａｔｅｎｃ
ｙ
ｂ
ｙ
ｔｅ
ａｄｄｒｅｓｓｉｎ
ｇ
ｏｆ
ｍｅｍｏｒ
ｙ
ａｎｄ
ｔｈｅ
ｐ
ｅｒｓｉｓｔｅｎｃｅ
ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ
ｏｆ
ｄｉｓｋ
，
ｗｈｉｃｈ
ｗｉｌｌ
ｂｒｉｎ
ｇ
ｒｅｖｏｌｕｔｉｏｎａｒ
ｙ
ｃｈａｎ
ｇ
ｅｓ
ａｎｄ
ｆａｒ
－
ｒｅａｃｈｉｎ
ｇ
ｉｍ
ｐ
ａｃｔ
ｏｎ
ｔｈｅ
ｅｘｉｓｔｉｎ
ｇ
ｓｏｆｔｗａｒｅ
ａｒｃｈｉｔｅｃｔｕｒｅ
ｓ
ｙ
ｓｔｅｍ．Ｄｉｓｔｒｉｂｕｔｅｄ
ｓｔｏｒａ
ｇ
ｅ
ｈａｓ
ｂｅｅｎ
ｗｉｄｅｌ
ｙ
ｕｓｅｄ
ｉｎ
ｃｌｏｕｄ
ｃｏｍ
ｐ
ｕｔｉｎ
ｇ
ａｎｄ
ｄａｔａ
ｃｅｎｔｅｒｓ
，
ｂｕｔ
ｔｈｅ
ｅｘｉｓｔｉｎ
ｇ
ｂａｃｋ
－
ｅｎｄ
ｓｔｏｒａ
ｇ
ｅ
ｅｎ
ｇ
ｉｎｅｓ
ｒｅ
ｐ
ｒｅｓｅｎｔｅｄ
ｂ
ｙ
Ｃｅ
ｐ
ｈ
ＢｌｕｅＳｔｏｒｅ
ａｒｅ
ｄｅｓｉ
ｇ
ｎｅｄ
ｆｏｒ
ｔｒａｄｉｔｉｏｎａｌ
ｍｅｃｈａｎｉｃａｌ
ｄｉｓｋｓ
ａｎｄ
ｓｏｌｉｄ
ｓｔａｔｅ
ｄｉｓｋｓ
（
ＳＳＤ
），
ａｎｄ
ｉｔｓ
ｏｒｉ
ｇ
ｉｎａｌ
ｏ
ｐ
ｔｉｍｉｚａｔｉｏｎ
ｄｅｓｉ
ｇ
ｎ
ｍｅｃｈａｎｉｓｍ
ｉｓ
ｎｏｔ
ｓｕｉｔａｂｌｅ
ｆｏｒ
ｅｘｅｒｔｉｎ
ｇ
ｔｈｅ
ａｄｖａｎｔａ
ｇ
ｅｓ
ｏｆ
ＰＭＥＭ．Ｉｎ
ｔｈｉｓ
ｐ
ａ
ｐ
ｅｒ
，
ａ
ｂａｃｋ
－
ｅｎｄ
ｓｔｏｒａ
ｇ
ｅ
ＭｉｘＳｔｏｒｅ
ｉｓ
ｐ
ｒｏ
ｐ
ｏｓｅｄ
ｂａｓｅｄ
ｏｎ
ＰＭＥＭ
ａｎｄ
ＳＳＤ．Ｔｈｒｏｕ
ｇ
ｈ
ｔｈｅ
ｖｏｌａｔｉｌｅ
ｒａｎ
ｇ
ｅ
ｍａｒｋｉｎ
ｇ
ａｎｄ
ｔｏ
－
ｂｅ
－
ｄｅｌｅｔｅｄ
ｌｉｓｔ
ｔｅｃｈｎｏｌｏ
ｇｙ
，
ａ
Ｃｏｎｃｕｒｒｅｎｔ
Ｓｋｉ
ｐ
Ｌｉｓｔ
ｓｕｉｔａｂｌｅ
ｆｏｒ
ｐ
ｅｒｓｉｓｔｅｎｔ
ｍｅｍｏｒ
ｙ
ｉｓ
ｉｍ
ｐ
ｌｅｍｅｎｔｅｄ
，
ｗｈｉｃｈ
ｉｓ
ｕｓｅｄ
ｔｏ
ｒｅ
ｐ
ｌａｃｅ
ＲｏｃｋｓＤＢ
ｔｏ
ｉｍ
ｐ
ｌｅｍｅｎｔ
ｔｈｅ
ｍｅｔａｄａｔａ
ｍａｎａ
ｇ
ｅｍｅｎｔ
ｍｅｃｈａｎｉｓｍ．Ｗｈｉｌｅ
ｅｎｓｕｒｉｎ
ｇ
ｔｒａｎｓａｃｔｉｏｎ
ｃｏｎｓｉｓｔｅｎｃ
ｙ
，
ｉｔ
ｅｌｉｍｉｎａｔｅｓ
ｔｈｅ
ｐ
ｅｒｆｏｒｍａｎｃｅ
ｊ
ｉｔｔｅｒ
ａｎｄ
ｏｔｈｅｒ
ｉｓｓｕｅｓ
ｃａｕｓｅｄ
ｂ
ｙ
ＢｌｕｅＳｔｏｒｅｓ
ｃｏｍ
ｐ
ａｃｔｉｏｎ
，
ａｎｄ
ｉｍ
ｐ
ｒｏｖｅｓ
ｔｈｅ
ｃｏｎｃｕｒｒｅｎｔ
ａｃｃｅｓｓ
ｐ
ｅｒｆｏｒｍａｎｃｅ
ｏｆ
ｍｅｔａｄａｔａ．Ｔｈｅ
ｓｔｏｒａ
ｇ
ｅ
ｏ
ｐ
ｔｉｍｉｚａｔｉｏｎ
ｄｅｓｉ
ｇ
ｎ
ｏｆ
ｄａｔａ
ｏｂ
ｊ
ｅｃｔｓ
ｂａｓｅｄ
ｏｎ
ｔｈｅ
ｍｅｔａｄａｔａ
ｍａｎａ
ｇ
ｅｍｅｎｔ
ｍｅｃｈａｎｉｓｍ
ｉｓ
ａｄｏ
ｐ
ｔｅｄ
，
ｎｏｎ
－
ａｌｉ
ｇ
ｎｅｄ
ｓｍａｌｌ
ｂｌｏｃｋｓ
ｏｆ
ｄａｔａ
ｏｂ
ｊ
ｅｃｔｓ
ａｒｅ
ｓｔｏｒｅｄ
ｉｎ
ＰＭＥＭ
，
ａｎｄ
ｔｈｅ
ａｌｉ
ｇ
ｎｅｄ
ｌａｒ
ｇ
ｅ
ｂｌｏｃｋｓ
ｏｆ
ｄａｔａ
ｏｂ
ｊ
ｅｃｔｓ
ａｒｅ
ｓｔｏｒｅｄ
ｉｎ
ＳＳＤ．Ｔｈｉｓ
ｍａｋｅｓ
ｆｕｌｌ
ｕｓｅ
ｏｆ
ｔｈｅ
ｂ
ｙ
ｔｅ
ａｄｄｒｅｓｓｉｎ
ｇ
ａｎｄ
ｄｕｒａｂｉｌｉｔ
ｙ
ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ
ｏｆ
ｔｈｅ
ＰＭＥＭ
，
ａｎｄ
ｔｈｅ
ｌａｒ
ｇ
ｅ
－
ｃａ
ｐ
ａｃｉｔ
ｙ
ａｎｄ
ｌｏｗ
－
ｃｏｓｔ
ａｄｖａｎｔａ
ｇ
ｅ
ｏｆ
ｔｈｅ
ＳＳＤ．Ｔｈｅ
ｄａｔａ
ｕ
ｐ
ｄａｔｅ
ｐ
ｏｌｉｃ
ｙ
ｉｓ
ｏ
ｐ
ｔｉｍｉｚｅｄ
ｂａｓｅｄ
ｏｎ
ｔｈｅ
ｄｅｌａ
ｙ
ｅｄ
ｗｒｉｔｉｎ
ｇ
ａｎｄ
ｃｏ
ｐｙ
－
ｏｎ
－
ｗｒｉｔｅ
（
ＣｏＷ
）
ｔｅｃｈｎｏｌｏ
ｇｙ
，
ｅｌｉｍｉｎａｔｉｎ
ｇ
ｔｈｅ
ｗｒｉｔｅ
ａｍ
ｐ
ｌｉｆｉｃａｔｉｏｎ
ｃａｕｓｅｄ
ｂ
ｙ
ｔｈｅ
ＷＡＬ
ｌｏ
ｇ
ｏｆ
ＢｌｕｅＳｔｏｒｅ
ａｎｄ
ｉｍ
ｐ
ｒｏｖｉｎ
ｇ
ｔｈｅ
ｐ
ｅｒｆｏｒｍａｎｃｅ
ｏｆ
ｓｍａｌｌ
ｄａｔａ
ｗｒｉｔｉｎ
ｇ
．Ｔｈｅ
ｔｅｓｔ
ｒｅｓｕｌｔｓ
ｓｈｏｗ
ｔｈａｔ
ｕｎｄｅｒ
ｔｈｅ
ｓａｍｅ
ｈａｒｄｗａｒｅ
ｅｎｖｉｒｏｎｍｅｎｔ
，
ＭｉｘＳｔｏｒｅｓ
ｗｒｉｔｅ
ｔｈｒｏｕ
ｇ
ｈ
ｐ
ｕｔ
ｉｓ
ｉｎｃｒｅａｓｅｄ
ｂ
ｙ
５９％ ａｎｄ
ｔｈｅ
ｗｒｉｔｅ
ｌａｔｅｎｃ
ｙ
ｉｓ
ｒｅｄｕｃｅｄ
ｂ
ｙ
３７％ ｃｏｍ
ｐ
ａｒｅｄ
ｗｉｔｈ
ｔｈａｔ
ｏｆ
ＢｌｕｅＳｔｏｒｅ
，
ｗｈｉｃｈ
ｅｆｆｅｃｔｉｖｅｌ
ｙ
ｉｍ
ｐ
ｒｏｖｅｓ
ｔｈｅ
ｓ
ｙ
ｓｔｅｍ
ｐ
ｅｒｆｏｒｍａｎｃｅ．
Ｋｅ
ｙ
ｗｏｒｄｓ
ｐ
ｅｒｓｉｓｔｅｎｔ
ｍｅｍｏｒ
ｙ
；
Ｃｏｎｃｕｒｒｅｎｔ
Ｓｋｉ
ｐ
Ｌｉｓｔ
；
ｂａｃｋ
－
ｅｎｄ
ｓｔｏｒａ
ｇ
ｅ
；
ｍｉｘｅｄ
ｓｔｏｒａ
ｇ
ｅ
；
ＢｌｕｅＳｔｏｒｅ
ｓｔｏｒａ
ｇ
ｅ
ｅｎ
ｇ
ｉｎｅ
摘
要
持久性内存
（
ｐ
ｅｒｓｉｓｔｅｎｔ
ｍｅｍｏｒ
ｙ
，
ＰＭＥＭ
）
同时具备 内存的低时 延字节寻址 和 磁盘的持 久化特
性
，
将对现有软件架构体系产生革命性的变化和深远的影响
．
分布式存储在云计算 和数据中心 得到了广
泛的应用
，
然而现有的以
Ｃｅ
ｐ
ｈ
ＢｌｕｅＳｔｏｒｅ
为代表的 后端存储引擎是面向传统机械盘和固态硬盘
（
ｓｏｌｉｄ
ｓｔａｔｅ
ｄｉｓｋ
，
ＳＳＤ
）
设计的
，
其原有的优化设计机制不适合
ＰＭＥＭ
特性优势的 发挥
．
提出了一种基于持久
性内存和
ＳＳＤ
的后端存储
ＭｉｘＳｔｏｒｅ
，
通过易失区段标记和待删除列表技术实现了适用于持久性内存的
并发跳表
，
用于替代
ＲｏｃｋｓＤＢ
实 现 元 数 据 管 理 机 制
，
在 保 证 事 务 一 致 性 的 同 时
，
消 除 了
ＢｌｕｅＳｔｏｒｅ
的
ｃｏｍ
ｐ
ａｃｔｉｏｎ
所引发的性能抖动等问题
，
同时提升元数据的并发访问性能
；
通 过结合元 数 据 管理机制的
数据对象存储优化设计
，
把非对齐的小数据对象存放在
ＰＭＥＭ
中
，
把对齐的大 块数据对象存储在
ＳＳＤ
上
，
充分发挥了
ＰＭＥＭ
的字节寻址
、
持久性特性和
ＳＳＤ
的大容量低成本优势
，
并结合延迟写入和
ＣｏＷ
（
ｃｏ
ｐｙ
－
ｏｎ
－
ｗｒｉｔｅ
）
技术实现数据更新策略优化
，
消除了
ＢｌｕｅＳｔｏｒｅ
的
ＷＡＬ
日志引起 的 写放大
，
提升小数
据写入性能
．
测试结果表明
，
在同 样 的 硬 件 环 境 下
，
相比
ＢｌｕｅＳｔｏｒｅ
，
ＭｉｘＳｔｏｒｅ
的 写 吞吐提升
５９％
，
写 时
延降低了
３７％
，
有效地提升了系统的性能
．
关键词
持久性内存
；
并发跳表
；
后端存储
；
混合存储
；
ＢｌｕｅＳｔｏｒｅ
存储引擎
中图法 分类号
ＴＰ３１６
近年来
，
随着移动通信和物联网技术的快速发
展
，
数据的规模呈爆发式增长
，
传统的存储系统已经
无法满足不断 增 长 的 海 量 数 据 存 储 的 需 要
．
为 解 决
数据存储规模
、
数据备份
、
数据安全
、
服务质量
、
软件
定义等问题
，
分布式存储系统应运而 生
．
分布式存储
是通过软件的方法把若干节点的存储资源
，
如磁盘
、
内存等组织起来
，
对外提供虚拟的统一的块
、
文件或
对象接口的按需存储服务
．
本地文件系统如
ＸＦＳ
（
ｅｘｔｅｎｔｓ
ｆｉｌｅ
ｓ
ｙ
ｓｔｅｍ
），
ＥＸＴ４
（
ｆｏｕｒｔｈ
ｅｘｔｅｎｄｅｄ
ｆｉｌｅ
ｓ
ｙ
ｓｔｅｍ
），
ｂｔｒｆｓ
（
Ｂ
－
ｔｒｅｅ
ｆｉｌｅ
ｓ
ｙ
ｓｔｅｍ
）
等
，
具有成熟
、
稳定的优势
，
成为分布式存储
系统访问本地 存 储 资 源 的 主 要 方 法
．
应 用 广 泛 的 分
布式存储系统
Ｃｅ
ｐ
ｈ
的后端存储
ＦｉｌｅＳｔｏｒｅ
也是基于
ＸＦＳ
进行存储访问
．
这样做 的 优 势是利用 了 文 件 和
对象天然的映射关系
，
利用 操作系 统 页 缓存 机制 缓
存数 据
，
利 用 索 引 节 点
（
ｉｎｏｄｅ
）
缓 存 机 制 缓 存 元 数
据
，
同时从操作系统层面保证 了磁盘的隔 离性
．
但是
这种架构也有明显的缺陷
［
１
］
，
主要是事务 一 致性 难
以保证
，
元数据管理低效
，
以及缺乏对新型硬件的支
持
．
鉴于此
，
Ｃｅ
ｐ
ｈ
在
Ｊｅｗｅｌ
版本引入了
ＢｌｕｅＳｔｏｒｅ
作
为后端存储
．ＢｌｕｅＳｔｏｒｅ
将对 象 数据的存 放 方式改为
直接对裸设备进行指定地址和长度的读写操作
，
不
再依赖本地文件系 统提供 的
ＰＯＳＩＸ
（
ｐ
ｏｒｔａｂｌｅ
ｏ
ｐ
ｅｒ
－
ａｔｉｎ
ｇ
ｓ
ｙ
ｓｔｅｍ
ｉｎｔｅｒｆａｃｅ
ｏｆ
Ｕｎｉｘ
）
接 口
．
同 时
，
ＢｌｕｅＳｔｏｒｅ
引入了
ＲｏｃｋｓＤＢ
数据库保存元数据和属性信 息
，
包
括对象的集合
、
对象
、
存储池的
ｏｍａ
ｐ
信息和磁盘空
间分 配 记 录 等
，
ＢｌｕｅＳｔｏｒｅ
有效避免了数据的 双 写
，
提升了元数据的操作效率
，
同时借助
ＲｏｃｋｓＤＢ
解决
了事务一致性问题
．
ＢｌｕｅＳｔｏｒｅ
虽然改 善 了 元 数 据 效 率 和 事 务 一 致
性
，
但 在 实 际 使 用 中 存 在 一 些 明 显 的 问 题
［
１
］
，
主 要
包括
：
１
）
ＲｏｃｋｓＤＢ
使 用 预 写 式 日 志
（
ｗｒｉｔｅ
ａｈｅａｄ
ｌｏ
ｇｇ
ｉｎ
ｇ
，
ＷＡＬ
）
技 术 保 证 一 致 性
，
存 在 写 放 大
．
ＲｏｃｋｓＤＢ
本 身 的
ＬＳＭ
－
Ｔｒｅｅ
（
ｌｏ
ｇ
－
ｓｔｒｕｃｔｕｒｅｄ
ｍｅｒ
ｇ
ｅ
ｔｒｅｅ
）
［
２
］
机 制 也 会 带 来 写 放 大
．ＬＳＭ
－
Ｔｒｅｅ
的 数 据 压
紧
（
ｃｏｍ
ｐ
ａｃｔｉｏｎ
）
机制还会带来业务的性能抖动
．
２
）
ＢｌｕｅＳｔｏｒｅ
的 元 数 据 信 息
、
属 性 信 息 和 小 数
据被存储到
ＲｏｃｋｓＤＢ
中
，
并在其中多次复制和序 列
化
，
带来较大的
ＣＰＵ
开销
．
３
）
为了保证事务一致性
，
对小数据的更新需要
先从 磁 盘 读 取 更 新 后 保 存 到
ＲｏｃｋｓＤＢ
中
，
同 时
ＲｏｃｋｓＤＢ
有 自 己 的
ＷＡＬ
日 志
，
导 致
Ｊｏｕｒｎａｌ
ｏｆ
Ｊｏｕｒｎａｌ
的写放大问题
．
上述
３
个问题和 对 应的系统 开 销
，
在固态硬 盘
（
ｓｏｌｉｄ
ｓｔａｔｅ
ｄｉｓｋ
，
ＳＳＤ
）
和机械盘场景下
，
相 对系统
整体性能提升带来的收益来说是值得的
，
但在持久
性内存场景下则成为了不必要的负担
．
ＰＭＥＭ
（
ｐ
ｅｒｓｉｓｔｅｎｔ
ｍｅｍｏｒ
ｙ
）
［
３
］
也 称 为 非 易 失
内存
（
ｎｏｎ
－
ｖｏｌａｔｉｌｅ
ｍｅｍｏｒ
ｙ
，
ＮＶＭ
）
或 存 储 级 内 存
（
ｓｔｏｒａ
ｇ
ｅ
ｃｌａｓｓ
ｍｅｍｏｒ
ｙ
，
ＳＣＭ
），
在 本 文 统 称 为
ＰＭＥＭ．ＰＭＥＭ
因其非 易 失
、
字 节 寻 址 和 原 地 更 新
等特性
，
成为工业界和学术界研究的热点
．
ＢｌｕｅＳｔｏｒｅ
没有很好利用
ＰＭＥＭ
内存式高速处
理和外 存 式 持 久 化 的 双 重 能 力
．ＰＭＥＭ
具 有 非 易
失
、
字节寻址特性
［
４
］
，
可以通过简化日志的方式保证
事务一致性
，
减少日志结构引起的数据整理和写放
大
，
以及由此带来的额外系统 开销和性能 瓶颈
．
与传
统基于块的存储设备相比
，
ＰＭＥＭ
提供了更高 的吞
吐和更低的延迟
．
但是
，
ＰＭＥＭ
比
ＳＳＤ
容量小且单位
存储成本更高
，
而且目前商 用的
ＰＭＥＭ
读写具有不
对称性
，
例如通过
Ｉｎｔｅｌ
ＭＬＣ
［
５
］
测得的
Ｉｎｔｅｌ
Ｏ
ｐ
ｔａｎｅ
ＤＣ
Ｐｅｒｓｉｓｔｅｎｔ
Ｍｅｍｏｒ
ｙ
读带宽最高约为
６ＧＢ
ｐ
ｓ
，
而
写带 宽 则 约 为
２ＧＢ
ｐ
ｓ．
因 此
，
ＰＭＥＭ
更 适 合 用 来
７０４
屠要峰等
：
基于持久性内存和
ＳＳＤ
的后端存储
ＭｉｘＳｔｏｒｅ
存储元数据和小数据
，
而
ＳＳＤ
更适合存储 大块的数
据对象
．
充 分 发 挥
ＰＭＥＭ
和
ＳＳＤ
存 储 介 质 的 优 势
特性
，
设计高性能的后端存储
，
将为解决传统存储的
不足带来了新的机遇
．
本文提出了一种基于
ＰＭＥＭ
和
ＳＳＤ
的分布式
后端存 储
ＭｉｘＳｔｏｒｅ
，
通过针对
ＰＭＥＭ
和
ＳＳＤ
特性
的组合优化设计
，
构建性能更优的本地存储系统
，
解
决了
Ｃｅ
ｐ
ｈ
现 有 后 端 存 储
ＢｌｕｅＳｔｏｒｅ
的 写 放 大 以 及
ｃｏｍ
ｐ
ａｃｔｉｏｎ
等问题
．
１
相关工作
Ｃｅ
ｐ
ｈ
现 有 的
ＢｌｕｅＳｔｏｒｅ
被 设 计 为 一 个 面 向
ＳＳＤ
和
ＨＤＤ
（
ｈａｒｄ
ｄｉｓｋ
ｄｒｉｖｅ
）
的 存 储 引 擎
，
致 力 于
提供快速的元 数 据 操 作
、
避 免 对 象
（
Ｏｂ
ｊ
ｅｃｔ
）
写 入 时
的一 致 性 开 销
，
同 时 解 决 日 志 双 写 问 题
．ＢｌｕｅＳｔｏｒｅ
通过将元数据 保 存 到
ＲｏｃｋｓＤＢ
来 实 现 快 速 的 元 数
据操作
．
通过
Ｓ
ｐ
ａｃｅ
Ａｌｌｏｃａｔｏｒ
进行磁盘空间管理
，
将
Ｏｂ
ｊ
ｅｃｔ
直接写入块设备
，
去除对文件系统的依赖
．
同
时
，
ＢｌｕｅＳｔｏｒｅ
实现了写时 复制机制
（
ｃｏ
ｐｙ
－
ｏｎ
－
ｗｒｉｔｅ
，
ＣｏＷ
）
方式的
Ｏｂ
ｊ
ｅｃｔ
更 新
，
从 而 避 免 在 日 志 中 包 含
完整 的
Ｏｂ
ｊ
ｅｃｔ
数 据
，
解 决 双 写 问 题
．
但 是 基 于
ＲｏｃｋｓＤＢ
管理元数据存在写放 大问题
，
ＲｏｃｋｓＤＢ
的
ｃｏｍ
ｐ
ａｃｔｉｏｎ
操作也会导致性能抖动
，
影响系统 吞吐
率
．
另 一 方 面
，
在 数 据 规 模 较 大 以 及
ＥＣ
（
ｅｒａｓｕｒｅ
ｃｏｄｅ
）
等应用场 景 中
，
基 于
ＲｏｃｋｓＤＢ
的 元 数 据 管 理
仍然难以满足 性 能 要 求
．
即 使 更 换 持 久 性 内 存 等 更
高性能的硬件
，
所获得的提升也有限
．
以
ＬｅｖｅｌＤＢ
［
６
］
和
ＲｏｃｋｓＤＢ
［
７
］
为 代 表 的
ＬＳＭ
－
Ｔｒｅｅ
存储引擎凭 借 其 优 异 的 写 性 能 成 为 众 多 分 布
式 组 件 的 存 储 基 石
．
在 大 型 生 产 环 境 中
，
例 如
Ｂｉ
ｇ
Ｔａｂｌｅ
［
８
］
，
Ｃａｓｓａｎｄｒａ
［
９
］
，
ＨＢａｓｅ
［
１０
］
等 广 泛 部 署 了
各种基于
ＬＳＭ
－
Ｔｒｅｅ
的本地存储
．ＬＳＭ
－
Ｔｒｅｅ
把小的
随机写 通 过 合 并 操 作 变 成 连 续 的 顺 序 写
，
因 此 对
ＨＤＤ
硬盘的写入性 能 有 很 好 的 优 化
．
相 比
ＨＤＤ
来
说
，
ＳＳＤ
的顺 序 写 入 和 随 机 写 入 性 能 差 别 较 小
，
所
以
ＬＳＭ
－
Ｔｒｅｅ
对
ＳＳＤ
的 写 入 性 能 提 升 有 限
．
为 此
，
ＷｉｓｃＫｅ
ｙ
［
１１
］
提 出 一 种 基 于
ＳＳＤ
优 化 的 键 值
（
ｋｅ
ｙ
－
ｖａｌｕｅ
，
ＫＶ
）
存储
，
核心思想是 把
ｋｅ
ｙ
和
ｖａｌｕｅ
分离
，
只有
ｋｅ
ｙ
被 保 存 在
ＬＳＭ
－
Ｔｒｅｅ
中
，
而
ｖａｌｕｅ
单 独 存
储在日志中
．
这样就显著减 小 了
ＬＳＭ
－
Ｔｒｅｅ
的大小
，
使得查找期间数据读取量减少
，
并减 轻了索引树合
并时不必要 的 数 据 移 动 而 引 起 的 写 放 大
．ＷｉｓｃＫｅ
ｙ
保留了
ＬＳＭ
－
Ｔｒｅｅ
的优势
，
减少了写放大
，
但数据访
问时需要进 行 多 次
ＭＡＰ
映 射
，
且 依 然 存 在
ＬＳＭ
－
Ｔｒｅｅ
固 有 的
ｃｏｍ
ｐ
ａｃｔｉｏｎ
过 程
．ＳＬＭ
－
ＤＢ
［
１２
］
基 于
ＰＭＥＭ
和磁盘对
ＬＳＭ
－
Ｔｒｅｅ
进行改进
，
将磁盘上 的
数据从多级 树 减 少 到
１
级
，
在
ＰＭＥＭ
上 构 建
Ｂ
树
加速对磁盘数据的访问
，
具 有低 写入放 大和 近乎最
优的读 取 放 大 特 性
．
但 在 磁 盘 上 数 据 依 然 需 要 做
ｃｏｍ
ｐ
ａｃｔｉｏｎ
操作
，
同 时 因 为 数 据 存 放 在 磁 盘
，
小 数
据 的 访 问 性 能 较 差
．ＮｏｖｅＬＳＭ
［
１３
］
是 一 款 基 于
ＰＭＥＭ
的
ＬＳＭ
－
Ｔｒｅｅ
存储结构的
ＫＶ
系统
，
旨在利
用
ＰＭＥＭ
为应用提供 高吞吐
、
低延迟 的
ＫＶ
存储
，
在
ＷＡＬ
日 志 满 的 时 候
，
或 在
ｃｏｍ
ｐ
ａｃｔｉｏｎ
受 阻 时
，
引入
ＰＭＥＭ
进 行 加 速
，
是 一 种 改 良 的
ＬＳＭ
－
Ｔｒｅｅ
，
但没有完全解决写放大和
ｃｏｍ
ｐ
ａｃｔｉｏｎ
的问题
．
针 对
ＰＭＥＭ
，
ＮＯＶＡ
［
１４
］
把
ＤＲＡＭ
和
ＰＭＥＭ
相结 合
，
索 引 存 放 在
ＤＲＡＭ
中
，
日 志 放 在
ＰＭＥＭ
中
，
每个
ｉｎｏｄｅ
都有自己的日志
，
日志通过 链 表进行
组织
，
这样的 设 计 充 分 发 挥 了
ＰＭＥＭ
的 字 节 寻 址
特性
，
但因为单位存 储 成 本 较 高 不 适 合 作 为 大 容 量
后端存储
．Ｚｉ
ｇｇ
ｕｒａｔ
［
１５
］
提供 了一个分 层文件系统
，
将
ＰＭＥＭ
和慢速磁盘结合在一起
，
通过在线预测应用
的访问模型
，
把同步的
、
小的数据 写入
ＰＭＥＭ
，
把异
步的
、
大的数据写入磁盘
，
这种分层放置的策略对有
多样性的访问模型有效
，
但对于 单 一数据 类型的 应
用将不 能 充 分 发 挥
ＰＭＥＭ
和 磁 盘 的 各 自 的 特 性
．
ＮＶ
－
Ｂｏｏｓｔｅｒ
［
１６
］
提出了一种基于
ＰＭＥＭ
的文件系统
来加速存储 节 点 的 对 象 访 问
，
通 过
ＰＭＥＭ
中 的 高
效命名空间管理
，
实现了快速 的 对象搜索 以及对象
ＩＤ
和磁盘位 置 之间的映 射
，
其优化是 针 对
Ｃｅ
ｐ
ｈ
的
ＦｉｌｅＳｔｏｒｅ
，
未解决
ＢｌｕｅＳｔｏｒｅ
所面临的问题
．
此外
，
以
上这些工作都提供基于内核态的本地文件系统
，
由
于系统调用
、
内存拷贝和中断而导致较大的性能开
销
，
并不 适 合 作 为 分 布 式 存 储 的 后 端
．Ｏｃｔｏ
ｐ
ｕｓ
［
１７
］
提 出 了 一 种 基 于
ＰＭＥＭ
和
ＲＤＭＡ
（
ｒｅｍｏｔｅ
ｄｉｒｅｃｔ
ｍｅｍｏｒ
ｙ
ａｃｃｅｓｓ
）
的分布 式 持 久 存 储 文 件 系 统
，
利 用
了
ＲＤＭＡ
可以直接读 写
ＰＭＥＭ
的特性
，
将文件 数
据设置为全局可 见
，
直接执 行 远程读写
，
提高 性 能
；
而文件元数据则设置为私有
，
对应 的 操作由服务端
来执行
，
从而保证安全性和 系统数据一 致性
．
但该系
统
缺少对大容量
ＳＳＤ
的集成
，
不适合作为 分布式 存
储的后端
．
ＫＶｅｌｌ
［
１８
］
是 基 于
ＮＶＭｅ
ＳＳＤ
设 计 的 高 效
ＫＶ
存储
，
核 心 设 计 思 想 是 简 化
ＣＰＵ
的 使 用
，
数 据 在
ＳＳＤ
上不排序
，
每个分区的索引在内 存中是有序 的
．
这种设计在每次启动时需要进行索引的重构
，
无法
８０４
计算机研究与发展
２０２１
，
５８
（
２
）
of 12
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
下载排行榜
1
2
9-数据库人的进阶之路：从PG分区、SQL优化到拥抱AI未来（罗敏）.pptx
3
1-PG版本兼容性案例（彭冲）.pptx
4
2-TDSQL PG在复杂查询场景中的挑战与实践-opensource.pdf
5
6-PostgreSQL 哈希索引原理浅析（文一）.pdf
6
8-基于PG向量和RAG技术的开源知识库问答系统MaxKB.pptx
7
3-AI时代的变革者-面向机器的接口语言(MOQL)_吕海波.pptx
8
4-IvorySQL V4：双解析器架构下的兼容性创新实践.pptx
9
7-拉起PG好伙伴DifySupaOdoo.pdf
10
《云原生安全攻防启示录》李帅臻.pdf
相关文档
评论