?????? Re: Doris ??????????????

2022-02-17 Thread ??
1. ??bdbje??FE 2. ??Featu

Re:Re: Re: Doris 限制并发查询量 (Doris QPS limit)

2022-02-17 Thread 陈明雨
I've had some private conversations with Tian Hui. Currently there are two issues in Tianhui's current implementation in PR that I am more concerned about: 1. one is using bdbje to process and store this information. This itself is a stateless information. And bdbje is more for processin

Re: Re: Doris 限制并发查询量

2022-02-17 Thread 王博
>> 首先qps是一个性能指标,在相当一部分场景下,qps高可能表示的是这个查询的延迟非常低,而不是可能达到集群瓶颈的标志,如我们的业务几百qps和几千qps也是有的,连接数也不高,主要都是低延迟查询 很有价值的建议。 和kv数据库不同的是,qps并不能完全反馈系统的负载情况,因为不同sql的写法差异很大,而kv系统的请求相对简单且类似。 对于sql数据库通过限制qps来保护系统的做法,我个人理解可能只是适用于极端场景,比如用户代码bug导致无限制往数据库提交sql,就我们内部场景而言,大部分场景下可能用不到; 总之系统保护是一个比较综合性的大型系统工程,qps只是一个方面。 我比较同意的

Re:Re: Doris 限制并发查询量

2022-02-17 Thread 蔡聪辉
感谢田晖提出的这个feature,不过有两个点想提出来讨论下。首先qps是一个性能指标,在相当一部分场景下,qps高可能表示的是这个查询的延迟非常低,而不是可能达到集群瓶颈的标志,如我们的业务几百qps和几千qps也是有的,连接数也不高,主要都是低延迟查询。 另外是否可以考虑使用同是运行的sql在某个时刻不得超过多少比较好? 第二,我觉得限制的原则就是和C++类似,需要尽量做到零开销,即你不用的东西,你就不需要付出代价,我比较关注的是增加这个特性之后如果没使用的话,对我们原来的查询或元数据性能影响多大。

Re: Doris 限制并发查询量

2022-02-17 Thread 王博
你好,田晖同学,感谢你的建议; 我理解你是想通过限制运行中的sql最大数量来对doris集群保护,qps确实算是集群保护的一个方面,也值得去做。 不过我还有几个问题想了解下: 1 我不是很理解当前查询数量要被持久化的原因,我理解只需要把最大运行中的sql数量保存下就可以了 2 其次,这个最大qps的限制放到fe也是可以的,可以参考doris最大连接数的实现 最后,期望能够补充一个比较完整的设计文档,具体包含问题背景,方案设计以及用户手册 王博 Wang Bo -

Doris ??????????????

2022-02-17 Thread ??
Doris Doris ?? Doris ??FE??bdbje??

Re:Re: Re: Re:Re: Re:Re: [VOTE] Release Flink Connectors v1.0.0 for Apache Doris(Incubating)

2022-02-17 Thread 陈明雨
Hi Willem: Actually, the doris-flink-connector does not need a "binary release". So we decided to make a source release with a maven onvenience binaries. And for the binary release process, we may do it for the Doris main repo[1], like Doris(incubating) 1.0.0 We will start the doris-flink-connec