Skip to content

v2.6.4优化全量多线程拉取

Vinllen Chen edited this page Apr 15, 2021 · 1 revision

之前的单表多线程拉取优化存在一定的问题,表的上限只能以Int类型表示,如果表内文档个数大于int_max,则会溢出异常。2.6.4版本开始采用splitVector命令解决切分的问题,性能和稳定性都提升了。

废弃参数:

  • full_sync.reader.read_document_count

新增参数:

  • full_sync.reader.parallel_thread。单表并发拉取的线程个数,默认为1表示沿用单线程拉取。
  • full_sync.reader.parallel_index。单表切分成多个段所依赖的索引,对于副本集建议配置_id(默认);对于分片集群,建议配置shard key,不过目前只支持单个字段,不支持多个字段的联合索引。