Xuanwo commented on issue #1130:
URL: https://github.com/apache/iceberg-rust/issues/1130#issuecomment-3283550391
## 🔄 HDFS支持实施状态更新 (2025年9月12日)
### ✅ 技术分析完成
经过全面分析，确认以下技术要点：
1. **OpenDAL 0.54.0 完全支持**：确认支持三种HDFS服务
- `Hdfs` (libhdfs + JNI)
- `WebHdfs` (HTTP REST API)
- `HdfsNative` (纯Rust实现)
2. **存储架构已就绪**：当前Storage枚举架构完全支持扩展HDFS变体
- 现有模式：Memory、LocalFs、S3、GCS、OSS、Azdls
- 可直接添加三个HDFS变体，遵循相同的配置和操作符创建模式
3. **社区共识明确**：基于2025年3月讨论达成的一致方向
- 三个独立Storage变体
- 运行时选择机制（通过feature flags）
- 支持viewfs://协议映射
### 📋 实施计划
**优先级顺序**：WebHdfs > Hdfs > HdfsNative
**技术实施步骤**：
1. 添加feature flags：`storage-hdfs`、`storage-webhdfs`、`storage-hdfs-native`
2. 在Storage枚举中添加三个HDFS变体
3. 实现配置解析和操作符创建函数
4. 在parse_scheme中添加协议映射（hdfs://、webhdfs://、viewfs://）
5. 设计运行时选择机制
### ⚠️ 关键限制说明
- **WebHDFS NameNode HA限制**：如@manuzhang指出，WebHDFS不支持自动故障切换，需在文档中突出说明
- **libhdfs运行时要求**：需要Java环境支持
### 🔍 PR #1450 状态确认
经检查，PR #1450 当前状态：
- 状态：CONFLICTING（合并冲突）
- 最后更新：2025年6月18日
- 技术方向：专注于Hadoop catalog实现，而非Storage层面
该PR方向与当前Storage层面需求不同，需要与@awol2005ex进一步沟通确认后续处理方案。
### 🎯 下一步行动
准备开始具体实施，将基于现有Storage架构模式直接实现HDFS支持，无需等待存在冲突的PR。
估计实施时间：2-3周完成核心功能
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]
