Flink mysql cdc to doris多schema join 数据导入doris多次问题
大家早:
最近在使用mysql flink cdc to doris时, 发现个问题, 在flink多schema进行join, group
by等多个算子计算时, doris flink connector会不定时多次向doris导入数据,
导致聚合模型(sum)计算不准确.(flink1.13.6 doris1.0.0 rc03, connector版本均对应)
如以下示例可以看出, 当flink由多个schema join group by等算子计算后(flink显示有20左右个算子), flink任务执行时,
观察数据, 发现update_time在不断变化, update_count也同时在sum聚合,
insert操作执行了96次才将这条数据中mo_num计算准确.
Doris 表结构示例:
{
tenant_code AGGREGATE KEY,
mo_num REPLACE,
update_time MAX,
update_count SUM default 1
}
数据示例:
code
mo_num
update_time
update_count
32
123
其他业务数据
2022-05-19 19:00:28
96
问题:
1. 这种情况是否正常? 期望是一条数据计算完直接插入, 而不是多次插入, 现在这种情况无法使用sum等聚合模型?
2. 如果有这样的场景, 如何避免? 开发同学能否从导入机制的角度帮忙解答一下?
关于doris中be在openEuler系统中安装问题请教
内核版本：Linux doris1 5.10.0-60.18.0.50.oe2203.x86_64 #1 SMP Wed Mar 30 03:12:24 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux 操作系统版本：openEuler release 22.03 LTS gcc版本：gcc 版本 10.3.1 (GCC) be程序报错内容： /doris/PALO-1.0.0-preview2-binary/be/lib/palo_be: symbol lookup error: /doris/PALO-1.0.0-preview2-binary/be/lib/palo_be: undefined symbol: _dl_sym, version GLIBC_PRIVATE 问题描述：回退至 openEuler release 20.03 LTS 版本后无此报错 麻烦问一下，是否只有回退系统版本才能继续安装操作？谢谢。 发自我的企业微信
??????????doris??be??openEuler??????????????????
Hi Apache-Doris 1.0.0-rc03 GCC 11 C??~ ??fl_manyi -- -- ??: "dev"
Re:回复：关于doris中be在openEuler系统中安装问题请教
Hi, If you have any conclusions, please let us know in dev@doris -- 此致！Best Regards 陈明雨 Mingyu Chen Email: chenmin...@apache.org 在 2022-05-27 12:37:18，"苏奕嘉" <591244...@qq.com.INVALID> 写道： >Hi，王杰： >Apache-Doris 1.0.0-rc03 使用的是 GCC 11 环境，从这个报错来看应该是对应的 >C链接库适配有错误，咱们可以单独的加一下联系方式，我来看看编译的问题，帮助你解决一下适配性的问题~ >我微信号：fl_manyi > > > > >-- 原始邮件 -- >发件人: > "dev" > >发送时间: 2022年5月27日(星期五) 中午11:16 >收件人: "dev" >主题: 关于doris中be在openEuler系统中安装问题请教 > > > >内核版本：Linux doris1 5.10.0-60.18.0.50.oe2203.x86_64 #1 SMP Wed Mar 30 03:12:24 >UTC 2022 x86_64 x86_64 x86_64 GNU/Linux > > > > >操作系统版本：openEuler release 22.03 LTS > > > > >gcc版本：gcc 版本 10.3.1 (GCC) > > > > >be程序报错内容： > >/doris/PALO-1.0.0-preview2-binary/be/lib/palo_be: symbol lookup error: >/doris/PALO-1.0.0-preview2-binary/be/lib/palo_be: undefined symbol: _dl_sym, >version GLIBC_PRIVATE > > > > > > > >问题描述：回退至 openEuler release 20.03 LTS 版本后无此报错 > > > > >麻烦问一下，是否只有回退系统版本才能继续安装操作？谢谢。 > > > > > > > > > >发自我的企业微信
