【MongoDB集群基于Oplog日志，实现数据监听】，MongoDB集群基于Oplog日志实现数据监听机制

摘要：MongoDB集群通过基于Oplog日志实现数据监听，提高了系统的可靠性和性能。Oplog日志记录了数据库的所有操作，包括插入、更新和删除等。通过监听Oplog，MongoDB集群能够实时响应数据变化，确保多个节点之间的数据同步。这种机制不仅提高了数据的一致性，还使得系统具备自动故障恢复能力，从而增强了系统的可用性和稳定性。

项目后台采用MongoDB数据库，门户页则使用Elasticsearch，为了满足业务需求，需要将MongoDB中的数据实时同步到Elasticsearch中，鉴于此，想到了MySQL中有基于Binlog开发的Canal工具，于是探索MongoDB是否有类似的实时监控同步工具。

方案

针对MongoDB数据同步到Elasticsearch的需求，存在以下两种解决方案：

1、MongoShake（项目地址：[https://github.com/alibaba/MongoShake）](https://github.com/alibaba/Mongoshake%EF%BC%89%E2%80%9D)：这是一个以Go语言编写的通用平台型服务，它通过读取MongoDB集群的Oplog日志，复制MongoDB的数据，并通过操作日志实现特定需求，MongoShake支持从源库抓取oplog数据，并发送到不同的tunnel通道，源库支持ReplicaSet、Sharding、Mongod，而目的库支持Mongos、Mongod。

官方文档：[https://developer.aliyun.com/article/763827?spm=a2c6h.13813017.content3.1.3eb032a4yx0ZoM#slide-11](https://developer.aliyun.com/article/763827?spm=a2c6h.13813017.content3.1%E3%80%82%E9%A1%B5%E9%A2%9C%E5%AF%BC%E5%AF%BC%E4%BD%BF%E5%BE%AE%E4%BD%BF%E5%BE%AE%E4%BD%BF%E5%BE%AE)

项目地址：[https://github.com/alibaba/MongoShake](https://github.com/alibaba/Mongoshake)

图片描述（可选）：[插入图片描述]

2、ChangeStream：这是MongoDB 3.6版本后推出的功能，允许应用程序通过db.collection.watch()这样的命令获得数据库集合的实时变更，此功能类似于MySQL的主从复制原理，基于此原理，阿里开源了canal这样的数据同步中间件工具，ChangeStream简化了oplog的处理和解析，降低了性能问题的风险，并能与aggregate framework结合使用进行变更集的进一步过滤或转换，但需注意，Change Stream功能只能用于启用了副本集的独立集群或分片集群，不适用于单进程部署的MongoDB。

关于ChangeStream的补充说明：

在此特性出现之前，开发者主要通过拉取oplog实现相同功能。

Change Stream的出现简化了开发流程，降低了回滚风险和性能问题。

Change Stream可监听的MongoDB目标类型包括单个集合、单个数据库以及整个集群（除系统库外的集合）。

一个Change Stream Event的基本结构如下（示例）：

{
  "_id" : {},
  "operationType" : "",
  "fullDocument" : {},
  "ns" : {
    "db" : "",
    "coll" : ""
  }
}

根据具体需求和技术栈，可以选择合适的方案来实现MongoDB数据同步到Elasticsearch的需求。