morningman opened a new issue #7502: URL: https://github.com/apache/incubator-doris/issues/7502
[English]() 以下是 Doris 社区 2022 年的总体规划。 规划包含待展开的、已展开的、已完成但需要持续优化的代码功能、文档、社区建设等各方面。 > 该规划目前处于讨论阶段，如果你对规划中或规划之外的任何方面有意见或建议，欢迎留言，或发送邮件至 d...@doris.apache.org. > 我们会逐步对规划中的各个方向建立相关issue或jira以进行详细描述和跟踪进展。同时也欢迎有意愿贡献的开发者直接建立issue并与之关联（留言即可） > 规划标有（Good First Issue）的方向都是较为独立的模块，比较适合作为新手任务或初次接触Doris的开发者。如果对相关方向感兴趣，请在 d...@doris.apache.org 邮件组中或本issue下与我们联系，我们会进行详细的指导、帮助和讨论。 > 标有（Q1）的方向是目前在一季度将完成的工作。其他方向我们也会逐步更新排期和进展。 > 标有（Done & Optimizing）的方向是目前已完成，但需要进行持续优化的方向。如易用性提升、功能补充和文档补充等。 > 我们鼓励开发者在 dev 邮件组中进行任何讨论，订阅邮件组请参考 [如何订阅](http://doris.incubator.apache.org/master/zh-CN/community/subscribe-mail-list.html#_1-%E5%8F%91%E9%80%81%E8%AE%A2%E9%98%85%E9%82%AE%E4%BB%B6)。 ## 功能 - [ ] 全新的查询优化器 - [ ] 可扩展的全新查询优化器框架 - [ ] 统计信息收集和利用 - [ ] TPC-DS 查询计划优化 - [ ] Push-Based 查询执行引擎 - [ ] Pipeline 执行引擎 - [ ] 算子并发控制和资源控制 - [ ] 复合数据类型支持 - [ ] Array（Q1） - [ ] Map - [ ] Struct - [ ] 半结构化数据支持 提供 Schemaless 语义以快速对半结构化数据进行分析。 - [ ] Json - [ ] 冷热数据分离（Q1） 以分区粒度，支持冷数据存储到对象存储，并提供远程访问能力和本地 Cache 加速能力。 - [ ] 多表物化视图 Doris 当前的 "物化视图" 更偏向 "物化索引" 的概念。后续 Doris 将实现真正的物化视图（Materialized View）以支持单表、多表视图的全量、增量构建。 - [ ] 数据更新 提供类似 Kudu 的数据更新支持。 - [ ] 更多函数支持 - [ ] WindowFunnel - [ ] UDF 支持新的 UDF 框架已解决现有 C++ 框架编写难度高、隔离性差、兼容性差等问题。 - [ ] UDF - [ ] UDAF - [ ] UDTF - [ ] 导入格式支持（Good First Issue） - [ ] 支持带转义的 csv 数据（common csv） - [ ] 支持带 header 的 csv 数据（skip header） ## 性能优化 - [ ] 向量化执行引擎（Q1） - [ ] 查询层向量化 - [ ] 存储层向量化 - [ ] 向量化函数补充 - [ ] 查询层存储层算子统一 - [ ] 导入向量化 - [ ] Json 解析优化（Good First Issue） - [ ] 引入 [simdjson](https://github.com/simdjson/simdjson) 替换当前的 rapidjson ## 稳定性和可观测性 - [ ] 内存管理（Q1） 通过全局+线程+任务级别内存管理，解决内存预估不准、OOM等问题，并提升内存可观测性。 - [ ] IO 管理 通过全局 IO 管理提供细粒度的 IO 限速、优先级调度等功能。 - [ ] Tracing 引入 OpenTelemetry 增强系统内部状态的可观测性并统一监控数据格式。 ## 测试 - [ ] 单元测试 - [ ] FE 完善 FE 单测框架以支持对功能进行多节点模拟测试。 - [ ] BE 提供测试框架以简化 BE 对复杂单元测试（如数据构建）的编写难度。 - [ ] 回归测试 提供 Case 采集或提交框架，用于完善和积累回归测试集。 - [ ] Benchmark 测试 提供 Benchmark 测试框架以确保新增代码不会对性能造成影响。 - [ ] 混沌测试 接入 ChaosMesh 混沌测试，提升系统在异常情况下的正确性和稳定性。 ## 功能优化 - [ ] Z-Order Index - [ ] 支持行存查询引擎 Z-Order （Done & Optimizing） - [ ] 支持向量化引擎 Z-Order - [ ] Agg/Uniq Key 模型支持 Z-Order - [ ] Schema Change - [ ] Lateral View - [ ] 支持 bitmap、string、json_array 的展开（Done & Optimizing） - [ ] 支持 Array 类型的展开 - [ ] Table Function ## 部署和运维 - [ ] Doris Manager（Q1） 提供可视化的 Doris 部署、监控和运维界面。简化 Doris 部署、扩容、升级、任务管理、状态查看等操作。 - [ ] Doris on K8S（Good First Issue） 提供基于 Helm Charts 的 K8S 部署方案。 ## 周边生态 - [ ] 外部数据源联邦查询能力 - [ ] Hive （Done & Optimizing） - [ ] Iceberg （Q1） - [ ] Hudi - [ ] 数据集成 - [ ] Routine Load 支持 Canal 格式解析（Q1） - [ ] Flink Connector（Done & Optimizing） - [ ] Spark Connector（Done & Optimizing） - [ ] SeaTunnel Sink（Done & Optimizing） - [ ] SeaTunnel Source - [ ] DataX (Addax)（Done & Optimizing） - [ ] 编译工具 - [ ] 支持 Clang 编译（Q1） ## 社区 - [ ] Doris 官网重构（Q1） 重构 Doris 官网，提供最佳实践、社区进展、博文、FAQ 等更多内容。 - [ ] Doris 文档编写（Good First Issue） **非代码贡献和代码贡献同等重要**，社区非常欢迎开发者对项目文档进行改进、校对。 - [ ] 重新梳理 Doris 官方文档内容，增强文档的可阅读性、可操作性和引导性。 - [ ] 英文文档的翻译和校对。 - [ ] Github Action（Good First Issue） 引入更多的 Github Action 来帮助完善代码库的管理。包括但不限于 PR 的自动回复、打标签等等。如果你有好的 Action 推荐，欢迎留言。 -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org --------------------------------------------------------------------- To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org For additional commands, e-mail: commits-h...@doris.apache.org
