bingquanzhao commented on code in PR #2808:
URL: https://github.com/apache/doris-website/pull/2808#discussion_r2661119527


##########
i18n/zh-CN/docusaurus-plugin-content-docs/current/ecosystem/vector.md:
##########
@@ -0,0 +1,498 @@
+---
+{
+    "title": "Integrating Vector with Doris",
+    "language": "zh-CN"
+}
+---
+
+# Integrating Vector with Doris
+
+## 关于 Vector
+
+Vector 是一个高性能的可观测性数据管道,采用 Rust 语言开发,专门用于收集、转换和路由日志、指标以及链路追踪数据。为了更好地支持 Doris 
生态系统,我们专门为 Vector 开发了 Doris Sink 组件,能够将各类数据源的数据高效地写入 Doris 进行分析处理。
+
+## 安装部署
+
+### 下载安装包
+```shell
+wget 
https://zyk-bj-1316291683.cos.accelerate.myqcloud.com/vector-0.49.0.custom.9eb55ef09-x86_64-unknown-linux-gnu.tar.gz
+```
+
+
+
+## 配置参数
+
+Doris Sink 支持丰富的配置选项,以满足不同场景下的数据写入需求:
+
+### 基础配置
+
+| 参数名称       | 类型          | 默认值     | 说明 |
+|--------------|-------------|----------|-----|
+| `type`       | string      | -        | 固定为 `doris` |
+| `inputs`     | array       | -        | 上游数据源名称列表 |
+| `endpoints`  | array\<string> | -     | Doris FE HTTP/HTTPS 地址,必须包含协议与端口,如 
`["https://fe1:8030"]` |
+| `database`   | string/模板   | -        | 目标数据库名称,支持 
[Template](https://vector.dev/docs/reference/configuration/template-syntax/) |
+| `table`      | string/模板   | -        | 目标表名称,支持模板 |
+| `label_prefix` | string    | `"vector"` | Stream Load 标签前缀,最终标签形式为 
`{label_prefix}_{database}_{table}_{timestamp}_{uuid}` |
+
+### 认证配置
+
+| 参数名称        | 类型   | 默认值    | 说明 |
+|---------------|------|---------|-----|
+| `auth.strategy` | string | `"basic"` | 认证策略,目前 Doris 仅支持 Basic Auth |
+| `auth.user`     | string | -         | Doris 用户名 |
+| `auth.password` | string | -         | Doris 密码,可配合环境变量或密钥管理系统 |
+
+### 请求与并发配置
+
+| 参数名称 | 类型 | 默认值 | 说明 |
+|--------|------|------|-----|
+| `request.concurrency` | string/integer | `"adaptive"` | 控制并发策略,支持 
`"adaptive"`、`"none"`(串行)或正整数并发上限 |
+| `request.timeout_secs` | integer | `60` | 单次 Stream Load 请求的超时(秒) |
+| `request.rate_limit_duration_secs` | integer | `1` | 速率限制时间窗(秒) |
+| `request.rate_limit_num` | integer | `9_223_372_036_854_775_807` | 
每个时间窗内允许的请求数,默认近似无限制 |
+| `request.retry_attempts` | integer | `usize::MAX` | Tower 
中间件的最大重试次数,缺省表示无限重试 |
+| `request.retry_initial_backoff_secs` | integer | `1` | 第一次重试前的等待时间(秒),后续按 
Fibonacci 退避 |
+| `request.retry_max_duration_secs` | integer | `30` | 单次重试退避的最大等待时长(秒) |
+| `request.retry_jitter_mode` | string | `"full"` | 重试抖动模式,支持 `full` 或 `none` |
+
+**自适应并发 (`request.adaptive_concurrency`,仅在 `request.concurrency = "adaptive"` 
时生效)**
+
+| 参数名称 | 类型 | 默认值 | 说明 |
+|--------|------|------|-----|
+| `request.adaptive_concurrency.initial_concurrency` | integer | `1` | 
自适应并发的起始值 |
+| `request.adaptive_concurrency.max_concurrency_limit` | integer | `200` | 
自适应并发的上限,防止过载 |
+| `request.adaptive_concurrency.decrease_ratio` | float | `0.9` | 触发降速时使用的缩减比例 
|
+| `request.adaptive_concurrency.ewma_alpha` | float | `0.4` | RTT 指标的指数移动平均权重 |
+| `request.adaptive_concurrency.rtt_deviation_scale` | float | `2.5` | RTT 
偏差放大系数,用于忽略正常波动 |
+
+### 编码与数据格式
+
+Doris Sink 使用 `encoding` 区块控制事件序列化行为,默认发出 NDJSON(换行分隔的 JSON):
+
+| 参数名称 | 类型 | 默认值 | 说明 |
+|--------|------|------|-----|
+| `encoding.codec` | string | `"json"` | 序列化编码,可选 `json`、`text`、`csv` 等 |
+| `encoding.timestamp_format` | string | - | 调整时间戳输出格式,支持 `rfc3339`、`unix` 等 |
+| `encoding.only_fields` / `encoding.except_fields` | array\<string> | - | 
控制字段白名单或黑名单 |
+| `encoding.framing.method` | string | 自动推断 | 当需要自定义帧格式时设置,如 
`newline_delimited`、`character_delimited` |
+
+#### Stream Load 头部(`headers`)
+
+`headers` 是一个键值对映射,直接透传为 Doris Stream Load 的 HTTP 头。常见设置如下(所有值均需为字符串):
+
+| 参数名称 | 类型 | 默认值 | 说明 |
+|--------|------|------|-----|
+| `headers.format` | string | `"json"` | 数据格式,支持 `json`、`csv`、`parquet` 等 |
+| `headers.read_json_by_line` | string | `"true"` | 是否按行读取 JSON(NDJSON) |
+| `headers.strip_outer_array` | string | `"false"` | 是否移除最外层数组 |
+| `headers.column_separator` | string | - | CSV 列分隔符(`format = csv` 时生效) |
+| `headers.columns` | string | - | CSV/JSON 映射的列顺序,如 
`timestamp,client_ip,status_code` |
+| `headers.where` | string | - | Stream Load `where` 过滤条件 |
+
+### 批处理配置
+
+| 参数名称 | 类型 | 默认值 | 说明 |
+|--------|------|------|-----|
+| `batch.max_bytes` | integer | `10485760` | 单批最大字节数(10 MB) |

Review Comment:
   The "batch" attribute is provided by the vector framework. By default, the 
framework sets the size to 10MB.



-- 
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.

To unsubscribe, e-mail: [email protected]

For queries about this service, please contact Infrastructure at:
[email protected]


---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]

Reply via email to