ToplingDB 使用 REST Web 在线修改配置

原创 Topling 2022-03-24

612

使用 ToplingDB，可以在 json/yaml 中设置配置参数，这些配置参数在进程运行过程中是固定的，无法修改。然而，在实际应用中，在线修改配置参数是个很现实的需求。

2022-03-04，我们通过内嵌的 Web Service 实现了在线修改配置的功能。主要分两大类：

1. DBOptions & CFOptions

在 RocksDB 体系中，DBOptions & CFOptions 都分为 Mutable 和 Immutable 两类，我们当然只能在线修改 Mutable Options。理论上，我们应该使用和 json/yaml 相同的语法来修改这些配置，但是，在 RocksDB 中，可能是基于接口安全考虑，修改配置用的是 unordered_map<string, string>，而不是相应的 Option class。

所以，一方面为了简单（不简单的方案是理论上我们可以深度修改 RocksDB 代码来实现目标），另一方面软件工程有个实践信条：尽量让危险的操作复杂晦涩。修改配置是比较危险的操作，我们让他复杂晦涩一点并且与 Topling 的 json 配置语法不同，也许是好事，所以，对 DBOptions & CFOptions，我们采用 RocksDB 自己的语法：

1.1. 针对 DB_MultiCF (有多个 CF 的 DB)，举例：

{
  "cfo": {
    "default": "max_write_buffer_number=10;level0_stop_writes_trigger=100;"
  },
  "dbo": "max_background_compactions=17;delayed_write_rate=15M"
}复制

cfo 和 dbo 都是可选字段，将以上 json 保存为文件 mdb-cf-opt.txt，我们使用 curl 命令来修改配置：

# 使用 -d 参数时，curl 默认使用 HTTP POST 方法
curl -d @mdb-cf-opt.txt "http://somehost:port/db/strings?html=0"复制

1.2. 针对 DB (只有单个 CF 的 DB)，举例：

注意：这个配置字符串必须加引号

"max_write_buffer_number=5;level0_stop_writes_trigger=50;delayed_write_rate=8M;max_background_compactions=40;"复制

1.3. 未来可能的改进

以现在这种语法，CFOptions & DBOptions 使用字符串来配置，这也为将来我们使用 ToplingDB 的 json 语法来在线修改提供了扩展机会：当支持 json 语法时，目前 RocksDB 的字符串语法仍然有效，这就保持了兼容性。

2. 其它对象

其它对象使用 json 语法修改

2.1. 修改 MemTableRepFactory

修改 MemTableRepFactory 对我们(ToplingDB)有很大的价值，因为我们期望能立竿见影地看到 ToplingCSPPMemTab 相比 SkipList 的优越性。但是 MemTableRepFactory 在 RocksDB 中是 Immutable 的，不过这没关系，我们可以通过实现一个中间层来绕过 RocksDB 这个限制，配置的时候：

"dyna": {
  "class": "Dyna",
  "params": {
    "real_fac": "${cspp}"
  }
}复制

在线修改的时候：

# 改为 cspp
curl -d '{"real_fac": "${cspp}"}' "http://somehost:port/memtable_factory/dyna?html=0"

# 改为 skiplist
curl -d '{"real_fac": "${skiplist}"}' "http://somehost:port/memtable_factory/dyna?html=0"复制