liuxuzxx commented on issue #53004: URL: https://github.com/apache/doris/issues/53004#issuecomment-3268721605
> flink cdc 可以直接写 doris 的呀 主要是出于下面的原因: 1. 这样直接写，doris的账号权限有点大，运维不放 2. 这样子写是直接flink cdc从mysql--->doris，没有中间商，但是上任负责人的写法是投递给rocketmq,然后基于rocketmq做了很多的业务，多个消费者组，如果直接flink cdc从mysql--->doris，那么之前的业务全部不能用了 3. 之前5人团队全部lz,现在只有一个人维护 目前选择了一个方案: 1. flink cdc执行任务:mysql---->kafka,然后编写了一个过滤转发模块，过滤掉 "op":"d"的全部丢掉，或者是根据之前的需求转成is_remove或者是is_delete,__op，然后复制before字段到after字段中，添加这个字段.转发到不同的topic，接着通过doris的routine load执行写入(doris的routine load性能还是不错的) 总体来说:效果还可以，比之前的方案资源消耗低了，也不需要每次源mysql增加字段就需要人工介入了 现在还存在的问题是: 1. 之前有从RocketMQ消费既写入doris,也写入mysql的。目前还在找开源组件如何从kafka写入到另外一个mysql的,找到一个ape-dts这个，可能需要稍微修改下才行 -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
