xiaokang commented on issue #27909:
URL: https://github.com/apache/doris/issues/27909#issuecomment-1844895702
中文版本的Release Note
感谢Doris社区参与2.0.3版本的100多位开发者和用户，这版本包含了统计信息、倒排索引、复杂数据类型、数据湖、分布式副本管理等近1000项改进与修复。
## 1 行为变更
-
复杂数据类型array/map/struct的输出格式改成跟输入格式以及JSON规范保持一致，跟之前版本的主要变化是日期和字符串用双引号括起来，ARRAY/MAP内部的空值显示为null而不是NULL。
- https://github.com/apache/doris/pull/25946
- 默认情况下，当用户属性 `resource_tags.location` 没有设置时，只能使用 default
资源组的节点，而之前版本中可以访问任意节点。
- https://github.com/apache/doris/pull/25331
- 支持 SHOW_VIEW 权限，拥有 SELECT 或 LOAD 权限的用户将不再能够执行 `SHOW CREATE VIEW` 语句，必须单独授予
SHOW_VIEW 权限。
- https://github.com/apache/doris/pull/25370
## 2 新功能
### 2.1 支持自动统计信息收集
通过收集统计信息有助于优化器了解数据分布特性，选择更优的计划以大幅提升查询效率。从2.0.3版本开始正式支持，默认为全天开启状态。
更多信息请参考：https://doris.apache.org/docs/query-acceleration/statistics/
### 2.2 数据湖更多系统支持复杂数据类型
- JAVA UDF、JDBC、Hudi MOR 表等功能支持复杂数据类型
- https://github.com/apache/doris/pull/24810
- https://github.com/apache/doris/pull/26236
- Paimon catalog 支持 复杂数据类型
- https://github.com/apache/doris/pull/25364
- Paimon catalog 支持 paimon 0.5 版本
- https://github.com/apache/doris/pull/24985
### 2.3 增加更多内置函数
- 新优化器支持BitmapAgg函数
- https://github.com/apache/doris/pull/25508
- 支持SHA系列摘要函数
- https://github.com/apache/doris/pull/24342
- 聚合函数min_by和max_by支持bitmap数据类型
- https://github.com/apache/doris/pull/25430
- 增加milliseconds/microseconds_add/sub/diff函数
- https://github.com/apache/doris/pull/24114
- 增加json_insert, json_replace, json_set JSON函数
- https://github.com/apache/doris/pull/24384
## 3 改进和优化
### 3.1 性能优化
- 在过滤率高的倒排索引MATCH WHERE条件和过滤率低的普通WHERE条件组合时，大幅降低索引列的IO
- 优化经过where条件过滤后随机读数据的效率
- 优化在JSON数据类型上使用老的get_json_xx 函数的性能，提升2-4倍
- 支持配置降低读数据线程的优先级，保证写入的CPU资源和实时性
- 增加返回largeint的uuid-numeric函数，性能比返回string的uuid函数快20倍
- 优化了case when 的性能提升3倍
- 在存储引擎执行中裁剪不必要的谓词计算
- 支持 count 算子下推到存储层
- 优化支持 and or 表达式中包含nullable 类型的计算性能
- 支持更多场景下limit算子提前到join前执行的改写，以提升执行效率
- 增加消除inline view中的无用的order by算子，以提升执行效率
- 优化了部分情况下的基数估计和代价模型的准确性，以提升执行效率
- 优化了jdbc catalog 的谓词下推逻辑和大小写逻辑
- 优化了file cache的第一次开启后的读取效率
- 优化hive 表sql cache 策略，使用 hms 中存储的分区更新时间作为 cache 是否失效的判断，提高cache命中率。
- 优化mow compaction 效率
- 优化了外表查询的线程分配逻辑，降低内存使用
- 优化column reader 的内存使用
### 3.2 分布式副本管理改进
包括跳过删除分区，colocate group ，持续写时均衡失败，冷热分层表不能均衡等
### 3.3 安全性提升
- 审计日志插件的配置使用token代替明文密码增强安全性
- https://github.com/apache/doris/pull/26278
- log4j配置安全性增强
- https://github.com/apache/doris/pull/24861
- 日志中不显示用户敏感信息
- https://github.com/apache/doris/pull/26912
## 4 bugfix和稳定性提升
### 4.1 复杂数据类型
- 修复了map/struct对定长CHAR(n)没有正确截断的问题
- https://github.com/apache/doris/pull/25725
- 修复了struct嵌套map/array写入失败的问题
- https://github.com/apache/doris/pull/26973
- 修复了count distinct不支持array/map/struct的问题
- https://github.com/apache/doris/pull/25483
- 解决query中出现delete复杂类型之后，升级到2.0.3 过程中出现be crash的问题
- https://github.com/apache/doris/pull/26006
- 修复了jsonb在where条件中be crash的问题
- https://github.com/apache/doris/pull/27325
- 修复了outer join中有array类型时be crash的问题
- https://github.com/apache/doris/pull/25669
- 修复 orc 格式 decimal 类型读取错误的问题
- https://github.com/apache/doris/pull/26548
- https://github.com/apache/doris/pull/25977
- https://github.com/apache/doris/pull/26633
### 4.2 倒排索引
- 修复了关闭倒排索引查询时OR NOT组合where条件结果错误的问题
- https://github.com/apache/doris/pull/26327
- 修复了空数组的倒排索引写入时be crash的问题
- https://github.com/apache/doris/pull/25984
- 修复输出为空的情况下index compaction be crash的问题
- https://github.com/apache/doris/pull/25486
- 修复新增列没有写入数据时，增加倒排索引be crash的问题
- https://github.com/apache/doris/pull/27276
- 修复1.2误建倒排索引后升级2.0等情况下倒排索引硬链缺失和泄露的问题
- https://github.com/apache/doris/pull/26903
### 4.3 物化视图
- 修复group by语句中包括重复表达式导致BE crash 的问题
- https://github.com/apache/doris/pull/27523
- 禁止视图创建时group by 子句中使用float/doubld 类型
- https://github.com/apache/doris/pull/25823
- 增强支持了select 查询命中物化视图的功能
- https://github.com/apache/doris/pull/24691
- 修复当使用了表的alias时，物化视图不能命中的问题
- https://github.com/apache/doris/pull/25321
- 修复了创建物化视图中使用percentile_approx的问题
- https://github.com/apache/doris/pull/26528
### 4.4 采样查询
- 修复table sample功能在partition table 上无法正常工作的问题
- https://github.com/apache/doris/pull/25912
- 修复table sample指定tablet 无法工作的问题
- https://github.com/apache/doris/pull/25378
### 4.5 主键表
- 修复基于主键条件更新的空指针异常
- https://github.com/apache/doris/pull/26881
- 修复部分列更新字段名大小写问题
- https://github.com/apache/doris/pull/27223
- 修复 schema change 时 mow 会出现重复 key 的问题
- https://github.com/apache/doris/pull/25705
### 4.6 导入和compaction
- 修复 routineload 一流多表时 unkown slot descriptor 错误
- https://github.com/apache/doris/pull/25762
- 修复内存统计并发访问导致be crash问题
- https://github.com/apache/doris/pull/27101
- 修复重复取消导入导致be crash的问题
- https://github.com/apache/doris/pull/27111
- 修复broker load 时 broker 连接报错问题
- https://github.com/apache/doris/pull/26050
- 修复compaction 和 scan 并发下 delete 谓词可能导致的查询结果不对
- https://github.com/apache/doris/pull/24638
- 修复compaction task存在时打印大量stacktrace日志的问题
- https://github.com/apache/doris/pull/25597
### 4.7 数据湖兼容性
- 解决iceberg 表中包含特殊字符导致查询失败的问题
- https://github.com/apache/doris/pull/27108
- 修复hive metastore 不同版本的兼容性问题
- https://github.com/apache/doris/pull/27327
- 修复读取 max compute 分区表错误的问题
- https://github.com/apache/doris/pull/24911
- 修复备份到对象存储失败的问题
- https://github.com/apache/doris/pull/25496
- https://github.com/apache/doris/pull/25803
### 4.8 JDBC外表兼容性
- 修复jdbc catalog处理Oracle日期类型格式错误的问题
- https://github.com/apache/doris/pull/25487
- 修复jdbc catalog读取MySQL 0000-00-00日期异常的问题
- https://github.com/apache/doris/pull/26569
- 修复从Mariadb读取数据时间类型默认值为current_timestamp时空指针异常问题
- https://github.com/apache/doris/pull/25016
- 修复jdbc catalog处理bitmap类型时be crash的问题
- https://github.com/apache/doris/pull/25034
- https://github.com/apache/doris/pull/26933
### 4.9 SQL规划和优化
- 修复了部分场景下分区裁剪错误的问题
- https://github.com/apache/doris/pull/27047
- https://github.com/apache/doris/pull/26873
- https://github.com/apache/doris/pull/25769
- https://github.com/apache/doris/pull/27636
- 修复了部分场景下子查询处理不正确的问题
- https://github.com/apache/doris/pull/26034
- https://github.com/apache/doris/pull/25492
- https://github.com/apache/doris/pull/25955
- https://github.com/apache/doris/pull/27177
- 修复了部分语义解析的错误
- https://github.com/apache/doris/pull/24928
- https://github.com/apache/doris/pull/25627
- 修复right outer/anti join时，有可能丢失数据的问题
- https://github.com/apache/doris/pull/26529
- 修复了谓词被错误的下推穿过聚合算子的问题
- https://github.com/apache/doris/pull/25525
- 修正了部分情况下返回的结果header不正确的问题
- https://github.com/apache/doris/pull/25372
- 包含有nullsafeEquals表达式(<=>)作为连接条件时，可以正确对规划出hash join
- https://github.com/apache/doris/pull/27127
- 修复了set operation算子中无法正确列裁剪的问题
- https://github.com/apache/doris/pull/26884
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org
For queries about this service, please contact Infrastructure at:
us...@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org
For additional commands, e-mail: commits-h...@doris.apache.org
