index system base on kafka connect

SIS是一个kafka connect的实现，它能基于kafka提供的数据，通过反查数据库，丰富数据内容。最后丰富，聚合，过滤后的数据写入目标数据源内。 SIS需要配合confluent体系和debezium，使用基于schema registry的序列化器。

目前支持写入solr, elasticsearch，mysql（Mysql目前不支持删除）。

使用前必看

项目能够运行的前提条件:

1. kafka版本1.0.0;
2. kafka topic数据需要来自debezium，简单的理解: 强依赖debezium;

文档

快速开始

SIS 工作方式

特点

1. 基于kafka connect，天然支持高可用。
2. kafka connect完备的commit处理。
3. 支持数据库反查，聚合数据。
4. 支持写入solr,es,mysql，开发者也可以实现自己的写入端。
5. 支持设置task个数，并行处理（并行个数与kafka topic partition个数相关）。

TODO

• 完善文档。

Any Problem

email: [email protected]

其它

欢迎各位PR. To be better