This is an automated email from the ASF dual-hosted git repository.
morningman pushed a commit to branch master
in repository https://gitbox.apache.org/repos/asf/doris-website.git
The following commit(s) were added to refs/heads/master by this push:
new 5dcd81180da docs(i18n): machine Japanese translation candidates (#4345)
5dcd81180da is described below
commit 5dcd81180da27d5fa85db850afe3e8742415b51d
Author: Mingyu Chen (Rayner) <[email protected]>
AuthorDate: Sat Oct 17 06:44:33 2026 +0100
docs(i18n): machine Japanese translation candidates (#4345)
## Japanese translation candidate
Source commit: `aaeed3f933f749cfa0ec725382e72ca23a4162e4`
Model: `gpt-6-sol`; glossary: `1`
Review status: machine. Japanese proofreading and the normal PR checks
are still required.
| Action | Version | English source | SHA-256 prefix | Generation |
| --- | --- | --- | --- | --- |
| update | current |
[`docs/data-operate/import/import-way/streaming-job/continuous-load-s3.md`](https://github.com/apache/doris-website/blob/aaeed3f933f749cfa0ec725382e72ca23a4162e4/docs/data-operate/import/import-way/streaming-job/continuous-load-s3.md)
| `7737d87bb714` | model call |
| update | 4.x |
[`versioned_docs/version-4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.md`](https://github.com/apache/doris-website/blob/aaeed3f933f749cfa0ec725382e72ca23a4162e4/versioned_docs/version-4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.md)
| `7737d87bb714` | copied from `T06-DEV-174965241198577` |
## Failed or skipped tasks
- `T06-DEV-017404221271560`
(docs/admin-manual/cluster-management/load-balancing.md): Glossary
product term changed: Doris
- `T06-DEV-063110128956628`
(docs/admin-manual/cluster-management/upgrade.md): Protected placeholder
changed: ⟦DORIS_KEEP_1⟧
2 !== 1
- `T06-DEV-179564805306168` (docs/admin-manual/config/be-config.md):
Document exceeds configured length limit
- `T06-DEV-143697844396254` (docs/admin-manual/config/fe-config.md):
Document exceeds configured length limit
- `T06-DEV-203232420762698`
(docs/admin-manual/data-admin/backup-restore/backup.md): Invalid model
translation unit
- `T06-DEV-036325813485040`
(docs/admin-manual/maint-monitor/metrics.md): Glossary product term
changed: JSON
- `T06-DEV-270957918107624`
(docs/admin-manual/system-tables/information_schema/file_cache_statistics.md):
Protected content changed (code, links, numbers, MDX, anchors, or
metadata)
+ actual - expected
+ '6d083f1d8661d17ddb4b9e45c99f3e9f87181c3623b85359e3d959b45be2f890'
- 'd8c54e5d185c0e102dbaa5b2760445d8318ccc0a9ddaf3e005305365ef7ce0ca'
- `T06-DEV-071691546880696`
(docs/admin-manual/system-tables/information_schema/rowsets.md):
Protected content changed (code, links, numbers, MDX, anchors, or
metadata)
+ actual - expected
+ '81af0cc9f5d7dd29ddb898220824b64fbeed4ab48974a1649852edd13ac2c310'
- '8d2b4cf37bd3bb846d5ed794c300bd2876fef966b9ea422402da09327793a5bb'
- `T06-DEV-199713074714700`
(docs/admin-manual/workload-management/workload-group.md): Glossary
product term changed: BE
- `T06-DEV-120613247244032`
(docs/compute-storage-decoupled/file-cache/file-cache-internals.md):
Protected content changed (code, links, numbers, MDX, anchors, or
metadata)
+ actual - expected
+ '5c780a8954cc4b671ce3f3f2cebb862b984419342548e1a45370d6f13ebc22d7'
- '33d8b2ddae73fcfe66e3df24dd3aaf0ea8ae72e5ba2c9150e31ed66ba4300824'
- `T06-DEV-119025270937624`
(docs/compute-storage-decoupled/file-cache/file-cache-peer-read.md):
Glossary product term changed: BE
- `T06-DEV-078179102997305`
(docs/compute-storage-decoupled/file-cache/file-cache.md): Glossary
product term changed: BE
- `T06-DEV-107653398894586`
(docs/connection-integration/arrow-flight-sql.md): Glossary product term
changed: Doris
- `T06-DEV-016217221203174`
(docs/connection-integration/data-integration/intro.mdx): Could not
parse expression with acorn
- `T06-DEV-184095262862573`
(docs/data-operate/export/export-overview.md): Unexpected protected
placeholder
- `T06-DEV-130898271729578`
(docs/data-operate/import/import-way/streaming-job/continuous-load-overview.md):
Glossary product term changed: JDBC
- `T06-DEV-003404136568120`
(docs/data-operate/import/load-best-practices/group-commit-manual.md):
Glossary product term changed: Doris
- `T06-DEV-107131042106488` (docs/faq/load-faq.md): Protected content
changed (code, links, numbers, MDX, anchors, or metadata)
+ actual - expected
+ '4e09dca37c12ef3f7bfd3e2a370266484e4a6aafdfbc59a47b45b2b1c9cc331f'
- '8e63933b48d800822cc348652e769f5ecfa918a0b994e3e4d62e717c24370336'
- `T06-DEV-038483288652035`
(docs/install/deploy-manually/separating-storage-compute-deploy-manually.md):
Glossary product term changed: Doris
## Validation
The generator checked committed source hashes, managed paths, protected
syntax,
target/state hashes and the current master SHA before applying the
candidate.
The PR checks must verify links, routes, coverage and the site build
before merging.
<!-- japanese-translation-automation:v1
bot-head=198dc75fbb2985a6a4b910c5ce32f775eaad3ba0 -->
Local Japanese translation gate: passed.
Co-authored-by: morningman <[email protected]>
---
.../import-way/streaming-job/continuous-load-s3.md | 236 ++-------------------
.../import-way/streaming-job/continuous-load-s3.md | 236 ++-------------------
.../streaming-job/continuous-load-s3.json | 12 +-
.../streaming-job/continuous-load-s3.json | 12 +-
4 files changed, 50 insertions(+), 446 deletions(-)
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/current/data-operate/import/import-way/streaming-job/continuous-load-s3.md
b/i18n/ja/docusaurus-plugin-content-docs/current/data-operate/import/import-way/streaming-job/continuous-load-s3.md
index a8c5f5b437c..4f23bed2593 100644
---
a/i18n/ja/docusaurus-plugin-content-docs/current/data-operate/import/import-way/streaming-job/continuous-load-s3.md
+++
b/i18n/ja/docusaurus-plugin-content-docs/current/data-operate/import/import-way/streaming-job/continuous-load-s3.md
@@ -1,231 +1,33 @@
---
{
- "title": "S3",
+ "title": "S3 取り込みの概要",
+ "sidebar_label": "概要",
"language": "ja",
- "description": "Job と S3 TVF を使用して S3 オブジェクトストレージのファイルデータを Doris
テーブルに継続的かつ増分で取り込み、自動ポーリング、増分検出、バッチ書き込みを行う方法を説明します。",
+ "description": "Doris Streaming Job を使用した S3
の順序付き取り込み、通知による取り込み、または一回限りの取り込みを選択できます。共通オプション、監視、ジョブ管理のガイドも参照できます。",
"keywords": [
- "Doris の S3 継続的なインポート",
- "S3 増分インポート",
- "S3 TVF Streaming Job",
- "オブジェクトストレージの増分同期",
- "CSV の Doris への継続的なインポート",
- "CREATE STREAMING JOB S3"
+ "Doris S3",
+ "Streaming Job",
+ "概要"
]
}
---
-<!-- Knowledge type: Procedure + Configuration parameters -->
-<!-- Applicable scenario: Continuous/incremental loading from S3 object
storage into Doris -->
+Doris は **Streaming Job + S3 TVF** を使用して、S3 ファイルを既存の Doris
テーブルにバッチ単位で取り込みます。ファイルの到着方法とジョブを継続して実行するかどうかに応じて、順序付き、通知による、または一回限りの取り込みを選択します。
-Doris では **Job + S3 TVF** を使用して継続的なインポートジョブを作成できます。S3
ディレクトリに新しいファイルが継続的に生成され、Doris テーブルへ増分同期する必要がある場合に適しています。
+## 取り込みモードの選択 {#choose-an-ingestion-mode}
-Job を登録すると、Doris はインポートジョブを実行し続け、一定の頻度で S3 ディレクトリをポーリングして、S3 TVF
クエリが返す新しいファイルのデータを Doris テーブルに書き込みます。
+| ガイド | モード | 使用する場面 | 完了条件 |
+| --- | --- | --- | --- |
+| [順序付き取り込み](./continuous-load-s3-ordered.md) | `ORDERED_LIST` （デフォルト） |
タイムスタンプやゼロ埋めされたカウンターのように、キーが辞書順で増加する場合 | 継続して実行し、新しいファイルを待機 |
+| [通知による取り込み](./continuous-load-s3-notification.md) | `NOTIFICATION` | UUID
キーを使用する場合や、ファイルが任意の順序で到着し、AWS S3 イベントと専用の SQS キューを通じて検出する場合 | 継続して実行し、メッセージを待機 |
+| [一回限りの取り込み](./continuous-load-s3-one-time.md) | `ONE_TIME` |
事前に用意した固定のファイル群、または単独のバックフィル | 最終バッチのコミット後に `FINISHED` になる |
-代表的な利用シーンは次のとおりです。
-
-- ログやイベントトラッキングなどから継続的に生成される CSV、JSON、Parquet ファイルを Doris に同期する。
-- 上流の ETL が S3 ディレクトリに分割ファイルを書き込み続けており、下流のデータウェアハウスに自動で取り込む。
-- 運用上の負担を抑えながら、S3 から Doris への増分取り込みを自動化する。
-
-## 基本原理 {#basic-principles}
-
-Doris は指定した S3 ディレクトリ内のファイルを走査してファイルリストに分割し、そのファイルリストを**小さなバッチ**に分けて Doris
テーブルに書き込みます。
-
-### 増分読み取りモード {#incremental-read-mode}
-
-タスクの作成後、Doris は指定したパスからデータを読み取り続け、一定の頻度で新しいファイルをポーリングします。
-
-新しいファイルを識別するルールは次のとおりです。
-
-- 新しいファイルの名前は、最後に取り込んだファイルの名前よりも**辞書順で大きい**必要があります。それ以外の場合、新しいファイルとして認識されません。
-- たとえば、`file1`、`file2`、`file3` が順に生成された場合は、その順番で取り込まれます。その後に `file0`
を追加しても、取り込み済みの `file3` より辞書順で小さいため、**Doris はこのファイルを取り込みません**。
-
-:::tip ファイル名の推奨事項
-追加されたファイルが正しく認識されるように、タイムスタンプや単調増加する連番など、名前が単調に増加する方式を使用してください（例:
`2025-09-22-001.csv`）。
-:::
-
-## クイックスタート {#quick-start}
-
-継続的なインポートの一連の手順は、通常次のとおりです。
-
-1. `CREATE JOB ... ON STREAMING` を使用して継続的なインポートジョブを作成します。
-2. `jobs()` テーブル関数を使用して、インポートの状態と進捗を確認します。
-3. 必要に応じて `ALTER JOB` を使用し、ジョブのパラメータまたは SQL を変更します。
-4. 一時停止、再開、削除などの管理操作には、[継続的なインポートの概要](./continuous-load-overview.md)
に記載された共通操作を使用します。
-
-### ステップ 1: インポートジョブを作成する {#step-1-create-a-load-job}
-
-[CREATE STREAMING
JOB](../../../../sql-manual/sql-statements/job/CREATE-STREAMING-JOB.md)
を使用して、継続的なインポートジョブを作成します。
-
-S3 ディレクトリに CSV 拡張子のファイルが定期的に生成される場合、次の Job を作成できます。
-
-```SQL
-CREATE JOB my_job
-ON STREAMING
-DO
-INSERT INTO db1.tbl1
-select * from S3(
- "uri" = "s3://bucket/*.csv",
- "s3.access_key" = "<s3_access_key>",
- "s3.secret_key" = "<s3_secret_key>",
- "s3.region" = "<s3_region>",
- "s3.endpoint" = "<s3_endpoint>",
- "format" = "<format>"
-)
-```
-
-### ステップ 2: インポート状態を確認する {#step-2-view-the-load-status}
-
-`jobs()` テーブル関数を使用して、STREAMING タイプのジョブの実行状態を確認します。
-
-```SQL
-select * from jobs("type"="insert") where ExecuteType = "STREAMING"
- Id: 1758538737484
- Name: my_job1
- Definer: root
- ExecuteType: STREAMING
-RecurringStrategy: \N
- Status: RUNNING
- ExecuteSql: INSERT INTO test.`student1`
-SELECT * FROM S3
-(
- "uri" = "s3://bucket/s3/demo/*.csv",
- "format" = "csv",
- "column_separator" = ",",
- "s3.endpoint" = "https://s3.ap-southeast-1.amazonaws.com";,
- "s3.region" = "ap-southeast-1",
- "s3.access_key" = "",
- "s3.secret_key" = ""
-)
- CreateTime: 2025-09-22 19:24:51
- SucceedTaskCount: 1
- FailedTaskCount: 0
-CanceledTaskCount: 0
- Comment: \N
- Properties: \N
- CurrentOffset: {"fileName":"s3/demo/test/1.csv"}
- EndOffset: {"fileName":"s3/demo/test/1.csv"}
- LoadStatistic:
{"scannedRows":20,"loadBytes":425,"fileNumber":2,"fileSize":256}
- ErrorMsg: \N
- JobRuntimeMsg: \N
-```
-
-主なフィールドの意味は次のとおりです。
-
-| フィールド | 意味 |
-| ---------- | ---- |
-| Status | ジョブの状態。一般的な値: `RUNNING`、`PAUSED`、`STOPPED` |
-| CurrentOffset | 処理済みの最新のファイル名（増分処理の進捗） |
-| EndOffset | 現在のバッチの終点となるファイル名 |
-| LoadStatistic | 累積のスキャン行数、バイト数、ファイル数、ファイルサイズ |
-| SucceedTaskCount | 正常に実行されたサブタスクの数 |
-| FailedTaskCount | 失敗したサブタスクの数 |
-| ErrorMsg | 失敗時のエラーメッセージ |
-
-### ステップ 3: インポートジョブを変更する {#step-3-modify-the-load-job}
-
-Job の `PROPERTIES` と `INSERT` 文は、同時に変更できます。
-
-```SQL
--- Support modifying Job properties and insert statement
-Alter Job jobName
-PROPERTIES(
- "session.insert_max_filter_ratio"="0.5"
-)
-INSERT INTO db1.tbl1
-select * from S3(
- "uri" = "s3://bucket/*.csv",
- "s3.access_key" = "<s3_access_key>",
- "s3.secret_key" = "<s3_secret_key>",
- "s3.region" = "<s3_region>",
- "s3.endpoint" = "<s3_endpoint>",
- "format" = "<format>"
-)
-```
-
-一時停止、再開、削除、タスクの表示など、その他の共通操作については、[継続的なインポートの概要](./continuous-load-overview.md)
を参照してください。
-
-## リファレンス {#reference}
-
-<!-- Knowledge type: Configuration parameters -->
-
-### ジョブ作成の構文 {#job-creation-syntax}
-
-S3 TVF を使用する継続的なインポートジョブの作成構文は次のとおりです。
-
-```SQL
-CREATE JOB <job_name>
-[job_properties]
-ON STREAMING
-[ COMMENT <comment> ]
-DO <Insert_Command>
-```
-
-各要素の説明は次のとおりです。
-
-| 要素 | 説明 |
-| ---- | ---- |
-| job_name | タスク名 |
-| job_properties | Job の共通のインポートパラメータを指定するために使用します |
-| comment | Job に付けるコメントを指定するために使用します |
-| Insert_Command | 実行する SQL。すなわち `INSERT INTO table SELECT * FROM S3()` |
-
-### インポート設定パラメータ {#load-configuration-parameters}
-
-`job_properties` では、次のパラメータを設定できます。
-
-| パラメータ | デフォルト | 説明 |
-| ---------- | ---------- | ---- |
-| session.\* | なし | `job_properties`
ですべてのセッション変数を設定できます。インポート用の変数については、[Insert Into
Select](../../../../data-operate/import/import-way/insert-into-manual.md#import-configuration-parameters)
を参照してください |
-| s3.max_batch_files | 256 | 累積ファイル数がこの値に達すると、インポートの書き込みが実行されます |
-| s3.max_batch_bytes | 10737418240 |
累積データ量（バイト数）がこの値に達すると、インポートの書き込みが実行されます。`10737418240`
のようなバイト数の整数のみを指定できます。`10G` のような単位付きの値は使用できません。有効範囲は 100MB～10GB、すなわち
104857600～10737418240 です |
-| max_interval | 10 | 上流に新しいファイルやデータがない場合の待機中のスケジューリング間隔（秒）。`10`
のように秒数を整数で指定します。`10s` のような単位付きの値は使用できません。1 以上である必要があります |
-
-:::tip バッチ書き込みの実行条件
-`s3.max_batch_files` または `s3.max_batch_bytes`
のいずれかの条件を満たすと書き込みが実行されます。上流に新しいファイルがない場合は、`max_interval` に従って待機中のポーリングが行われます。
-:::
-
-## FAQ {#faq}
-
-<!-- Knowledge type: FAQ -->
-
-### Q1: 新しく追加されたファイルが取り込まれないのはなぜですか？ {#q1-why-are-newly-added-files-not-loaded}
-
-最も一般的な原因は、ファイル名が `CurrentOffset` に記録されたファイル名よりも**辞書順で小さい**ことです。次の点を確認してください。
-
-- 新しいファイルの名前が単調に増加しているか（タイムスタンプや単調増加する連番の使用を推奨します）。
-- `jobs()` で `CurrentOffset` を確認し、新しいファイル名がその値より大きいか。
-
-### Q2: バッチごとのファイル数とデータ量はどのように制御できますか？
{#q2-how-can-i-control-the-number-of-files-and-the-data-volume-per-batch}
-
-`s3.max_batch_files` と `s3.max_batch_bytes`
を使用してバッチサイズを制御します。どちらか一方の条件を満たすと、書き込みが実行されます。
-
-### Q3: ジョブが待機中に新しいファイルをポーリングする頻度はどのくらいですか？
{#q3-how-often-does-the-job-poll-for-new-files-when-idle}
-
-`max_interval` で制御します。デフォルトは 10 秒です。`job_properties` で調整できます。
-
-### Q4: CSV 以外の形式にも対応していますか？ {#q4-are-formats-other-than-csv-supported}
-
-はい。`format` パラメータで S3 TVF の形式（`csv`、`json`、`parquet` など）を指定します。使用できる形式は、S3 TVF
がサポートする形式によって決まります。
-
-### Q5: 実行中のジョブのインポート SQL はどのように変更できますか？
{#q5-how-do-i-modify-the-load-sql-of-a-running-job}
-
-`ALTER JOB` を使用すると、`PROPERTIES` と `INSERT` 文を同時に変更できます。[ステップ 3:
インポートジョブを変更する](#step-3-modify-the-load-job) を参照してください。
-
-## トラブルシューティング {#troubleshooting}
-
-<!-- Knowledge type: Troubleshooting -->
-
-| 症状 | 考えられる原因 | 対処方法 |
-| ---- | -------------- | -------- |
-| 新しいファイルが取り込まれない | ファイル名が `CurrentOffset` よりも辞書順で小さい |
タイムスタンプや単調増加する連番など、名前が単調に増加する方式に変更します |
-| ジョブの `Status` が `RUNNING` だが進捗がない | S3 パスに新しいファイルがない | `uri`
のワイルドカードが新しいファイルに一致するか確認し、必要に応じて `max_interval` を短くします |
-| 認証に失敗する、または S3 にアクセスできない | `s3.access_key`、`s3.secret_key`、その他の設定が正しくない |
AK/SK、`region`、`endpoint` が一致しているか確認します。また、IAM 権限で該当するバケットを読み取れることを確認します |
-| 単一バッチのインポートが大きすぎる、または遅い | `s3.max_batch_bytes` または `s3.max_batch_files`
が大きすぎる | 下流の書き込み能力に合わせてバッチのしきい値を下げます |
-| `FailedTaskCount` が増加し続ける | データ形式またはスキーマが一致しない | `ErrorMsg`
を確認します。`session.insert_max_filter_ratio` を使用して一部の異常行を許容するか、上流のデータを修正します |
+通知による取り込みでは過去のオブジェクトはバックフィルされず、通知が繰り返されると重複して取り込まれる可能性があります。どのモードでも、取り込み中は取り込み元のオブジェクトを読み取り可能かつ変更されない状態に保つ必要があります。上記の各ガイドには、セットアップ、SQL
の例、パラメーター、制限事項が記載されています。
## 関連ドキュメント {#related-documents}
-- [継続的なインポートの概要](./continuous-load-overview.md)
-- [CREATE STREAMING JOB
の構文](../../../../sql-manual/sql-statements/job/CREATE-STREAMING-JOB.md)
-- [Insert Into Select
のインポート設定パラメータ](../../../../data-operate/import/import-way/insert-into-manual.md#import-configuration-parameters)
+- [Amazon S3 からの取り込み](../../data-source/amazon-s3.md)：S3 Load と TVF + INSERT。
+- [継続的なデータロードの概要](./continuous-load-overview.md)：ジョブとタスクの確認、一時停止、再開、削除。
+- [CREATE STREAMING
JOB](../../../../sql-manual/sql-statements/job/CREATE-STREAMING-JOB.md)：ジョブ作成の構文。
+- [ALTER JOB](../../../../sql-manual/sql-statements/job/ALTER-JOB.md)：ジョブ変更の構文。
+- [S3
TVF](../../../../sql-manual/sql-functions/table-valued-functions/s3.md)：接続、認証情報、ファイル形式のオプション。
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.md
b/i18n/ja/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.md
index a8c5f5b437c..4f23bed2593 100644
---
a/i18n/ja/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.md
+++
b/i18n/ja/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.md
@@ -1,231 +1,33 @@
---
{
- "title": "S3",
+ "title": "S3 取り込みの概要",
+ "sidebar_label": "概要",
"language": "ja",
- "description": "Job と S3 TVF を使用して S3 オブジェクトストレージのファイルデータを Doris
テーブルに継続的かつ増分で取り込み、自動ポーリング、増分検出、バッチ書き込みを行う方法を説明します。",
+ "description": "Doris Streaming Job を使用した S3
の順序付き取り込み、通知による取り込み、または一回限りの取り込みを選択できます。共通オプション、監視、ジョブ管理のガイドも参照できます。",
"keywords": [
- "Doris の S3 継続的なインポート",
- "S3 増分インポート",
- "S3 TVF Streaming Job",
- "オブジェクトストレージの増分同期",
- "CSV の Doris への継続的なインポート",
- "CREATE STREAMING JOB S3"
+ "Doris S3",
+ "Streaming Job",
+ "概要"
]
}
---
-<!-- Knowledge type: Procedure + Configuration parameters -->
-<!-- Applicable scenario: Continuous/incremental loading from S3 object
storage into Doris -->
+Doris は **Streaming Job + S3 TVF** を使用して、S3 ファイルを既存の Doris
テーブルにバッチ単位で取り込みます。ファイルの到着方法とジョブを継続して実行するかどうかに応じて、順序付き、通知による、または一回限りの取り込みを選択します。
-Doris では **Job + S3 TVF** を使用して継続的なインポートジョブを作成できます。S3
ディレクトリに新しいファイルが継続的に生成され、Doris テーブルへ増分同期する必要がある場合に適しています。
+## 取り込みモードの選択 {#choose-an-ingestion-mode}
-Job を登録すると、Doris はインポートジョブを実行し続け、一定の頻度で S3 ディレクトリをポーリングして、S3 TVF
クエリが返す新しいファイルのデータを Doris テーブルに書き込みます。
+| ガイド | モード | 使用する場面 | 完了条件 |
+| --- | --- | --- | --- |
+| [順序付き取り込み](./continuous-load-s3-ordered.md) | `ORDERED_LIST` （デフォルト） |
タイムスタンプやゼロ埋めされたカウンターのように、キーが辞書順で増加する場合 | 継続して実行し、新しいファイルを待機 |
+| [通知による取り込み](./continuous-load-s3-notification.md) | `NOTIFICATION` | UUID
キーを使用する場合や、ファイルが任意の順序で到着し、AWS S3 イベントと専用の SQS キューを通じて検出する場合 | 継続して実行し、メッセージを待機 |
+| [一回限りの取り込み](./continuous-load-s3-one-time.md) | `ONE_TIME` |
事前に用意した固定のファイル群、または単独のバックフィル | 最終バッチのコミット後に `FINISHED` になる |
-代表的な利用シーンは次のとおりです。
-
-- ログやイベントトラッキングなどから継続的に生成される CSV、JSON、Parquet ファイルを Doris に同期する。
-- 上流の ETL が S3 ディレクトリに分割ファイルを書き込み続けており、下流のデータウェアハウスに自動で取り込む。
-- 運用上の負担を抑えながら、S3 から Doris への増分取り込みを自動化する。
-
-## 基本原理 {#basic-principles}
-
-Doris は指定した S3 ディレクトリ内のファイルを走査してファイルリストに分割し、そのファイルリストを**小さなバッチ**に分けて Doris
テーブルに書き込みます。
-
-### 増分読み取りモード {#incremental-read-mode}
-
-タスクの作成後、Doris は指定したパスからデータを読み取り続け、一定の頻度で新しいファイルをポーリングします。
-
-新しいファイルを識別するルールは次のとおりです。
-
-- 新しいファイルの名前は、最後に取り込んだファイルの名前よりも**辞書順で大きい**必要があります。それ以外の場合、新しいファイルとして認識されません。
-- たとえば、`file1`、`file2`、`file3` が順に生成された場合は、その順番で取り込まれます。その後に `file0`
を追加しても、取り込み済みの `file3` より辞書順で小さいため、**Doris はこのファイルを取り込みません**。
-
-:::tip ファイル名の推奨事項
-追加されたファイルが正しく認識されるように、タイムスタンプや単調増加する連番など、名前が単調に増加する方式を使用してください（例:
`2025-09-22-001.csv`）。
-:::
-
-## クイックスタート {#quick-start}
-
-継続的なインポートの一連の手順は、通常次のとおりです。
-
-1. `CREATE JOB ... ON STREAMING` を使用して継続的なインポートジョブを作成します。
-2. `jobs()` テーブル関数を使用して、インポートの状態と進捗を確認します。
-3. 必要に応じて `ALTER JOB` を使用し、ジョブのパラメータまたは SQL を変更します。
-4. 一時停止、再開、削除などの管理操作には、[継続的なインポートの概要](./continuous-load-overview.md)
に記載された共通操作を使用します。
-
-### ステップ 1: インポートジョブを作成する {#step-1-create-a-load-job}
-
-[CREATE STREAMING
JOB](../../../../sql-manual/sql-statements/job/CREATE-STREAMING-JOB.md)
を使用して、継続的なインポートジョブを作成します。
-
-S3 ディレクトリに CSV 拡張子のファイルが定期的に生成される場合、次の Job を作成できます。
-
-```SQL
-CREATE JOB my_job
-ON STREAMING
-DO
-INSERT INTO db1.tbl1
-select * from S3(
- "uri" = "s3://bucket/*.csv",
- "s3.access_key" = "<s3_access_key>",
- "s3.secret_key" = "<s3_secret_key>",
- "s3.region" = "<s3_region>",
- "s3.endpoint" = "<s3_endpoint>",
- "format" = "<format>"
-)
-```
-
-### ステップ 2: インポート状態を確認する {#step-2-view-the-load-status}
-
-`jobs()` テーブル関数を使用して、STREAMING タイプのジョブの実行状態を確認します。
-
-```SQL
-select * from jobs("type"="insert") where ExecuteType = "STREAMING"
- Id: 1758538737484
- Name: my_job1
- Definer: root
- ExecuteType: STREAMING
-RecurringStrategy: \N
- Status: RUNNING
- ExecuteSql: INSERT INTO test.`student1`
-SELECT * FROM S3
-(
- "uri" = "s3://bucket/s3/demo/*.csv",
- "format" = "csv",
- "column_separator" = ",",
- "s3.endpoint" = "https://s3.ap-southeast-1.amazonaws.com";,
- "s3.region" = "ap-southeast-1",
- "s3.access_key" = "",
- "s3.secret_key" = ""
-)
- CreateTime: 2025-09-22 19:24:51
- SucceedTaskCount: 1
- FailedTaskCount: 0
-CanceledTaskCount: 0
- Comment: \N
- Properties: \N
- CurrentOffset: {"fileName":"s3/demo/test/1.csv"}
- EndOffset: {"fileName":"s3/demo/test/1.csv"}
- LoadStatistic:
{"scannedRows":20,"loadBytes":425,"fileNumber":2,"fileSize":256}
- ErrorMsg: \N
- JobRuntimeMsg: \N
-```
-
-主なフィールドの意味は次のとおりです。
-
-| フィールド | 意味 |
-| ---------- | ---- |
-| Status | ジョブの状態。一般的な値: `RUNNING`、`PAUSED`、`STOPPED` |
-| CurrentOffset | 処理済みの最新のファイル名（増分処理の進捗） |
-| EndOffset | 現在のバッチの終点となるファイル名 |
-| LoadStatistic | 累積のスキャン行数、バイト数、ファイル数、ファイルサイズ |
-| SucceedTaskCount | 正常に実行されたサブタスクの数 |
-| FailedTaskCount | 失敗したサブタスクの数 |
-| ErrorMsg | 失敗時のエラーメッセージ |
-
-### ステップ 3: インポートジョブを変更する {#step-3-modify-the-load-job}
-
-Job の `PROPERTIES` と `INSERT` 文は、同時に変更できます。
-
-```SQL
--- Support modifying Job properties and insert statement
-Alter Job jobName
-PROPERTIES(
- "session.insert_max_filter_ratio"="0.5"
-)
-INSERT INTO db1.tbl1
-select * from S3(
- "uri" = "s3://bucket/*.csv",
- "s3.access_key" = "<s3_access_key>",
- "s3.secret_key" = "<s3_secret_key>",
- "s3.region" = "<s3_region>",
- "s3.endpoint" = "<s3_endpoint>",
- "format" = "<format>"
-)
-```
-
-一時停止、再開、削除、タスクの表示など、その他の共通操作については、[継続的なインポートの概要](./continuous-load-overview.md)
を参照してください。
-
-## リファレンス {#reference}
-
-<!-- Knowledge type: Configuration parameters -->
-
-### ジョブ作成の構文 {#job-creation-syntax}
-
-S3 TVF を使用する継続的なインポートジョブの作成構文は次のとおりです。
-
-```SQL
-CREATE JOB <job_name>
-[job_properties]
-ON STREAMING
-[ COMMENT <comment> ]
-DO <Insert_Command>
-```
-
-各要素の説明は次のとおりです。
-
-| 要素 | 説明 |
-| ---- | ---- |
-| job_name | タスク名 |
-| job_properties | Job の共通のインポートパラメータを指定するために使用します |
-| comment | Job に付けるコメントを指定するために使用します |
-| Insert_Command | 実行する SQL。すなわち `INSERT INTO table SELECT * FROM S3()` |
-
-### インポート設定パラメータ {#load-configuration-parameters}
-
-`job_properties` では、次のパラメータを設定できます。
-
-| パラメータ | デフォルト | 説明 |
-| ---------- | ---------- | ---- |
-| session.\* | なし | `job_properties`
ですべてのセッション変数を設定できます。インポート用の変数については、[Insert Into
Select](../../../../data-operate/import/import-way/insert-into-manual.md#import-configuration-parameters)
を参照してください |
-| s3.max_batch_files | 256 | 累積ファイル数がこの値に達すると、インポートの書き込みが実行されます |
-| s3.max_batch_bytes | 10737418240 |
累積データ量（バイト数）がこの値に達すると、インポートの書き込みが実行されます。`10737418240`
のようなバイト数の整数のみを指定できます。`10G` のような単位付きの値は使用できません。有効範囲は 100MB～10GB、すなわち
104857600～10737418240 です |
-| max_interval | 10 | 上流に新しいファイルやデータがない場合の待機中のスケジューリング間隔（秒）。`10`
のように秒数を整数で指定します。`10s` のような単位付きの値は使用できません。1 以上である必要があります |
-
-:::tip バッチ書き込みの実行条件
-`s3.max_batch_files` または `s3.max_batch_bytes`
のいずれかの条件を満たすと書き込みが実行されます。上流に新しいファイルがない場合は、`max_interval` に従って待機中のポーリングが行われます。
-:::
-
-## FAQ {#faq}
-
-<!-- Knowledge type: FAQ -->
-
-### Q1: 新しく追加されたファイルが取り込まれないのはなぜですか？ {#q1-why-are-newly-added-files-not-loaded}
-
-最も一般的な原因は、ファイル名が `CurrentOffset` に記録されたファイル名よりも**辞書順で小さい**ことです。次の点を確認してください。
-
-- 新しいファイルの名前が単調に増加しているか（タイムスタンプや単調増加する連番の使用を推奨します）。
-- `jobs()` で `CurrentOffset` を確認し、新しいファイル名がその値より大きいか。
-
-### Q2: バッチごとのファイル数とデータ量はどのように制御できますか？
{#q2-how-can-i-control-the-number-of-files-and-the-data-volume-per-batch}
-
-`s3.max_batch_files` と `s3.max_batch_bytes`
を使用してバッチサイズを制御します。どちらか一方の条件を満たすと、書き込みが実行されます。
-
-### Q3: ジョブが待機中に新しいファイルをポーリングする頻度はどのくらいですか？
{#q3-how-often-does-the-job-poll-for-new-files-when-idle}
-
-`max_interval` で制御します。デフォルトは 10 秒です。`job_properties` で調整できます。
-
-### Q4: CSV 以外の形式にも対応していますか？ {#q4-are-formats-other-than-csv-supported}
-
-はい。`format` パラメータで S3 TVF の形式（`csv`、`json`、`parquet` など）を指定します。使用できる形式は、S3 TVF
がサポートする形式によって決まります。
-
-### Q5: 実行中のジョブのインポート SQL はどのように変更できますか？
{#q5-how-do-i-modify-the-load-sql-of-a-running-job}
-
-`ALTER JOB` を使用すると、`PROPERTIES` と `INSERT` 文を同時に変更できます。[ステップ 3:
インポートジョブを変更する](#step-3-modify-the-load-job) を参照してください。
-
-## トラブルシューティング {#troubleshooting}
-
-<!-- Knowledge type: Troubleshooting -->
-
-| 症状 | 考えられる原因 | 対処方法 |
-| ---- | -------------- | -------- |
-| 新しいファイルが取り込まれない | ファイル名が `CurrentOffset` よりも辞書順で小さい |
タイムスタンプや単調増加する連番など、名前が単調に増加する方式に変更します |
-| ジョブの `Status` が `RUNNING` だが進捗がない | S3 パスに新しいファイルがない | `uri`
のワイルドカードが新しいファイルに一致するか確認し、必要に応じて `max_interval` を短くします |
-| 認証に失敗する、または S3 にアクセスできない | `s3.access_key`、`s3.secret_key`、その他の設定が正しくない |
AK/SK、`region`、`endpoint` が一致しているか確認します。また、IAM 権限で該当するバケットを読み取れることを確認します |
-| 単一バッチのインポートが大きすぎる、または遅い | `s3.max_batch_bytes` または `s3.max_batch_files`
が大きすぎる | 下流の書き込み能力に合わせてバッチのしきい値を下げます |
-| `FailedTaskCount` が増加し続ける | データ形式またはスキーマが一致しない | `ErrorMsg`
を確認します。`session.insert_max_filter_ratio` を使用して一部の異常行を許容するか、上流のデータを修正します |
+通知による取り込みでは過去のオブジェクトはバックフィルされず、通知が繰り返されると重複して取り込まれる可能性があります。どのモードでも、取り込み中は取り込み元のオブジェクトを読み取り可能かつ変更されない状態に保つ必要があります。上記の各ガイドには、セットアップ、SQL
の例、パラメーター、制限事項が記載されています。
## 関連ドキュメント {#related-documents}
-- [継続的なインポートの概要](./continuous-load-overview.md)
-- [CREATE STREAMING JOB
の構文](../../../../sql-manual/sql-statements/job/CREATE-STREAMING-JOB.md)
-- [Insert Into Select
のインポート設定パラメータ](../../../../data-operate/import/import-way/insert-into-manual.md#import-configuration-parameters)
+- [Amazon S3 からの取り込み](../../data-source/amazon-s3.md)：S3 Load と TVF + INSERT。
+- [継続的なデータロードの概要](./continuous-load-overview.md)：ジョブとタスクの確認、一時停止、再開、削除。
+- [CREATE STREAMING
JOB](../../../../sql-manual/sql-statements/job/CREATE-STREAMING-JOB.md)：ジョブ作成の構文。
+- [ALTER JOB](../../../../sql-manual/sql-statements/job/ALTER-JOB.md)：ジョブ変更の構文。
+- [S3
TVF](../../../../sql-manual/sql-functions/table-valued-functions/s3.md)：接続、認証情報、ファイル形式のオプション。
diff --git
a/translations/state/ja/pages/default/4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.json
b/translations/state/ja/pages/default/4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.json
index 0cfded1602e..e603e69bcfe 100644
---
a/translations/state/ja/pages/default/4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.json
+++
b/translations/state/ja/pages/default/4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.json
@@ -8,13 +8,13 @@
"sourceLocale": "en",
"sourcePath":
"versioned_docs/version-4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.md",
"targetPath":
"i18n/ja/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/streaming-job/continuous-load-s3.md",
- "sourceCommit": "618b88463542c388ef5d477f53e4f17162fd5eb7",
- "sourceHash":
"9cbdf58b5e569f684dd432b8c29b1e87e063365b8f90da161bf2a7ac630125c8",
- "sourceTechnicalHash":
"2508d857e2cf0f0aef02d48f5ccea32d7518c906170b5e4e92012970ed6d176b",
- "targetHash":
"bffe97608b0e707e2037d1536da60931009242cceb602d5d3f8fb318db4ce93b",
+ "sourceCommit": "aaeed3f933f749cfa0ec725382e72ca23a4162e4",
+ "sourceHash":
"7737d87bb7148eb1824454935d4fa9b8d208a6614156712cc1c6db0535b86b2d",
+ "sourceTechnicalHash":
"beb3c16b2f0a2582b5ff477aef8fa2ed7195ee654fe03a4418184427095ef3b1",
+ "targetHash":
"8b4d49fe4348a9ed04d9e94405a68d4e875bb422306240a0bd29cade9a6243e2",
"reviewStatus": "machine",
"ownership": "machine",
- "translatedAt": "2026-10-15T02:27:01.605Z",
- "glossaryVersion": "0"
+ "translatedAt": "2026-10-17T04:51:55.086Z",
+ "glossaryVersion": "1"
}
}
diff --git
a/translations/state/ja/pages/default/current/data-operate/import/import-way/streaming-job/continuous-load-s3.json
b/translations/state/ja/pages/default/current/data-operate/import/import-way/streaming-job/continuous-load-s3.json
index 4244cc1cbf3..22b31d6d7bd 100644
---
a/translations/state/ja/pages/default/current/data-operate/import/import-way/streaming-job/continuous-load-s3.json
+++
b/translations/state/ja/pages/default/current/data-operate/import/import-way/streaming-job/continuous-load-s3.json
@@ -8,13 +8,13 @@
"sourceLocale": "en",
"sourcePath":
"docs/data-operate/import/import-way/streaming-job/continuous-load-s3.md",
"targetPath":
"i18n/ja/docusaurus-plugin-content-docs/current/data-operate/import/import-way/streaming-job/continuous-load-s3.md",
- "sourceCommit": "5fda1b3f1951c28633678a1759f2a09601734325",
- "sourceHash":
"9cbdf58b5e569f684dd432b8c29b1e87e063365b8f90da161bf2a7ac630125c8",
- "sourceTechnicalHash":
"2508d857e2cf0f0aef02d48f5ccea32d7518c906170b5e4e92012970ed6d176b",
- "targetHash":
"bffe97608b0e707e2037d1536da60931009242cceb602d5d3f8fb318db4ce93b",
+ "sourceCommit": "aaeed3f933f749cfa0ec725382e72ca23a4162e4",
+ "sourceHash":
"7737d87bb7148eb1824454935d4fa9b8d208a6614156712cc1c6db0535b86b2d",
+ "sourceTechnicalHash":
"beb3c16b2f0a2582b5ff477aef8fa2ed7195ee654fe03a4418184427095ef3b1",
+ "targetHash":
"8b4d49fe4348a9ed04d9e94405a68d4e875bb422306240a0bd29cade9a6243e2",
"reviewStatus": "machine",
"ownership": "machine",
- "translatedAt": "2026-10-14T15:18:07.097Z",
- "glossaryVersion": "0"
+ "translatedAt": "2026-10-17T04:51:55.086Z",
+ "glossaryVersion": "1"
}
}
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]
