数据冷热备份方案

[lvjiangbinOTA]

原数据库A中有表C1，C1设置了数据过期索引。目的数据库B中表C2，C2无索引。
先使用mongoshake进行一次全量同步，之后持续的增量同步，如何做到C1中的过期数据删除动作不影响C2中的数据？

[ilaotan]

自己改源码加判断？

[zhongli-james]

大概明白这个诉求了，库B作为"冷库"期望存储全量的数据，而不受TTL索引的影响。但是源端库A作为"热库"会有TTL带来的delete操作。
现在mongoshke还不支持针对特定op类型的过滤，这样会导致两边的数据不一致。
我们可以讨论下这个需求，看看是否需要mongoshake来支持此特定场景。

[SisyphusSQ]

感觉是有需要的，我们的业务方也有类似的诉求。在数据冷热备份的需求下，其实并不需要两边数据强一致，只要在热库中的数据在冷库中一致即可。

实现可参考这个代码：
https://github.com/SisyphusSQ/MongoShake/blob/3868b73584bc38387db4b880f9caa137f9c8e1e5/collector/filter/oplog_filter.go#L34

[zhongli-james]

感觉是有需要的，我们的业务方也有类似的诉求。在数据冷热备份的需求下，其实并不需要两边数据强一致，只要在热库中的数据在冷库中一致即可。

实现可参考这个代码： https://github.com/SisyphusSQ/MongoShake/blob/3868b73584bc38387db4b880f9caa137f9c8e1e5/collector/filter/oplog_filter.go#L34

挺好的，我看是通过又增加了自定义的CmdFilter来实现的。
问下，有计划将这部分改动贡献回shake么？也可以让有类似需求的开发者复用。

[SisyphusSQ]

好的，我把功能整理下，提pull request回shake中。目前我fork的MongoShake和官方提供的，代码差异已经有点大了...

[zhongli-james]

好的，我把功能整理下，提pull request回shake中。目前我fork的MongoShake和官方提供的，代码差异已经有点大了...

确实，基准是22年了。我看你还有日志库的改动，估计会有比较多冲突。以你的评估为准，不好弄的话，我后续参考你的commit将相关能力移植回最新的shake代码并补充相关单元测试好了。

[SisyphusSQ]

好的，麻烦了

另外，checkpoint.storage这个功能我也做了相应的修改（是否需要新开个ISSUE？）
背景：
如果使用专门的mongo中的集合存储checkpoint。有两个mongoshake实例，一个作为master执行同步，另外一个作为standby。selectLeader()中的objectId写死就会有不同实例之间的冲突问题。

改动点：
新增了master_quorum.objectId配置，通过主动配置_id的形式，规避不同MongoShake同步之间的冲突问题

[zhongli-james]

好的，麻烦了

另外，checkpoint.storage这个功能我也做了相应的修改（是否需要新开个ISSUE？） 背景： 如果使用专门的mongo中的集合存储checkpoint。有两个mongoshake实例，一个作为master执行同步，另外一个作为standby。selectLeader()中的objectId写死就会有不同实例之间的冲突问题。

改动点： 新增了master_quorum.objectId配置，通过主动配置_id的形式，规避不同MongoShake同步之间的冲突问题

听起来是很合理的优化，可以单开一个issue。

[SisyphusSQ]

你好，PR已提交，有空审阅下呢 #949

[zhongli-james]

你好，PR已提交，有空审阅下呢 #949

收到，感谢贡献~我会尽快处理该PR。