[kylin] 01/02: update system cube

2020-11-10 Thread xxyu 
This is an automated email from the ASF dual-hosted git repository.

xxyu pushed a commit to branch document
in repository https://gitbox.apache.org/repos/asf/kylin.git

commit bda1466486b3a1bd082326fd0e0710bf8dcd5940
Author: xuekaiqi 
AuthorDate: Tue Nov 10 10:26:19 2020 +0800

update system cube
---
 website/_docs/tutorial/setup_systemcube.cn.md | 152 +++---
 website/_docs/tutorial/setup_systemcube.md| 177 +-
 2 files changed, 220 insertions(+), 109 deletions(-)

diff --git a/website/_docs/tutorial/setup_systemcube.cn.md 
b/website/_docs/tutorial/setup_systemcube.cn.md
index 0224cec..d05e942 100644
--- a/website/_docs/tutorial/setup_systemcube.cn.md
+++ b/website/_docs/tutorial/setup_systemcube.cn.md
@@ -7,16 +7,24 @@ permalink: /cn/docs/tutorial/setup_systemcube.html
 
 > 自 Apache Kylin v2.3.0 起有效
 
-## 什么是系统 Cube
+本节主要内容：
+
+- [什么是系统 Cube](#什么是系统 Cube)
+- [如何建立系统 Cube](#如何建立系统 Cube)
+- [自动创建系统 Cube](#自动创建系统 Cube)
+- [系统 Cube 的细节](#系统 Cube 的细节)
+
+## 什么是系统 Cube
 
 为了更好的支持自我监控，在系统 project 下创建一组系统 Cubes，叫做 "KYLIN_SYSTEM"。现在，这里有五个 
Cubes。三个用于查询指标，"METRICS_QUERY"，"METRICS_QUERY_CUBE"，"METRICS_QUERY_RPC"。另外两个是 
job 指标，"METRICS_JOB"，"METRICS_JOB_EXCEPTION"。
 
-## 如何建立系统 Cube
+## 如何建立系统 Cube
 
-### 准备
-在 KYLIN_HOME 目录下创建一个配置文件 SCSinkTools.json。
+本节我们介绍手动启用系统 Cube 的方法，如果您希望通过 shell 脚本自动创建系统 Cube，请参考[自动创建系统 Cube](#什么是系统 
Cube)。
 
-例如：
+### 1. 准备
+
+在 KYLIN_HOME 目录下创建一个配置文件 SCSinkTools.json。例如：
 
 ```
 [
@@ -31,8 +39,8 @@ permalink: /cn/docs/tutorial/setup_systemcube.html
 ]
 ```
 
-### 1. 生成 Metadata
-在 KYLIN_HOME 文件夹下运行一下命令生成相关的 metadata：
+### 2. 生成 Metadata
+在 KYLIN_HOME 文件夹下运行以下命令生成相关的 metadata：
 
 ```
 ./bin/kylin.sh org.apache.kylin.tool.metrics.systemcube.SCCreator \
@@ -44,37 +52,32 @@ permalink: /cn/docs/tutorial/setup_systemcube.html
 
 ![metadata](/images/SystemCube/metadata.png)
 
-### 2. 建立数据源
-运行下列命令生成 hive 源表：
+### 3. 建立数据源
+运行下列命令生成 Hive 源表：
 
 ```
 hive -f /create_hive_tables_for_system_cubes.sql
 ```
 
-通过这个命令，相关的 hive 表将会被创建。
+通过这个命令，相关的 hive 表将会被创建。每一个系统 Cube 中的事实表对应了一张 Hive 源表，Hive 
源表中记录了查询或任务相关的数据，这些数据将为系统 Cube 服务。
 
 ![hive_table](/images/SystemCube/hive_table.png)
 
-### 3. 为 System Cubes 上传 Metadata 
+### 4. 为系统 Cubes 上传 Metadata 
 然后我们需要通过下列命令上传 metadata 到 hbase：
 
 ```
 ./bin/metastore.sh restore 
 ```
 
-### 4. 重载 Metadata
-最终，我们需要在 Kylin web UI 重载 metadata。
-
+### 5. 重载 Metadata
+最终，我们需要在 Kylin web UI 重载 metadata。然后，一组系统 Cubes 将会被创建在系统 project 下，称为 
"KYLIN_SYSTEM"。
 
-然后，一组系统 Cubes 将会被创建在系统 project 下，称为 "KYLIN_SYSTEM"。
 
+### 6. 构建系统 Cube
+当系统 Cube 被创建，我们需要定期构建 Cube。方法如下：
 
-### 5. 系统 Cube build
-当系统 Cube 被创建，我们需要定期 build Cube。
-
-1. 创建一个 shell 脚本其通过调用 org.apache.kylin.tool.job.CubeBuildingCLI 来 build 系统 Cube
-  
-   例如:
+**步骤一**：创建一个 shell 脚本，通过调用 org.apache.kylin.tool.job.CubeBuildingCLI 来构建系统 
Cube。例如：
 
 {% highlight Groff markup %}
 #!/bin/bash
@@ -96,9 +99,7 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.kylin.tool.job.CubeBuildingCLI --cube $
 
 {% endhighlight %}
 
-2. 然后定期运行这个 shell 脚本
-
-   例如，像接下来这样添加一个 cron job：
+**步骤二**：定期运行这个 shell 脚本。例如，像接下来这样添加一个 cron job：
 
 {% highlight Groff markup %}
 0 */2 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh 
KYLIN_HIVE_METRICS_QUERY_QA 360 120
@@ -113,20 +114,23 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.kylin.tool.job.CubeBuildingCLI --cube $
 
 {% endhighlight %}
 
-## 自动创建系统cube
+## 自动创建系统 Cube
 
-从kylin 2.6.0开始提供system-cube.sh脚本，用户可以通过执行此脚本来自动创建系统cube。
+从kylin 2.6.0 开始提供 system-cube.sh 脚本，用户可以通过执行此脚本来自动创建系统 Cube。
 
-- 创建系统cube：`sh system-cube.sh setup`
+- 创建系统 Cube：`sh system-cube.sh setup`
 
-- 构建系统cube：`sh bin/system-cube.sh build`
+- 构建系统 Cube：`sh bin/system-cube.sh build`
 
-- 为系统cube添加定时任务：`bin/system.sh cron`
+- 为系统 Cube 添加定时任务：`bin/system.sh cron`
 
-## 系统 Cube 的细节
+## 系统 Cube 的细节
+
+Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系统 Cube 的事实表对应了一张 Hive 表，共有 5 个系统 Cube。
 
 ### 普通 Dimension
-对于这些 Cube，admins 能够用四个时间粒度查询。从高级别到低级别，如下：
+
+对于这些系统 Cube，admins 能够用四个时间粒度查询，这些维度在 5 个系统 Cube 中均生效。从高级别到低级别，如下：
 
 
   
@@ -147,6 +151,7 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.kylin.tool.job.CubeBuildingCLI --cube $
   
 
 
+
 ### METRICS_QUERY
 这个 Cube 用于在最高级别收集查询 metrics。细节如下：
 
@@ -159,12 +164,16 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.kylin.tool.job.CubeBuildingCLI --cube $
 the host of server for query engine
   
   
+KUSER
+the user who executes the query
+  
+  
 PROJECT
-
+the project where the query executes
   
   
 REALIZATION
-in Kylin，there are two OLAP realizations: Cube，or Hybrid of Cubes
+the cube which the query hits. In Kylin，there are two OLAP 
realizations: Cube，or Hybrid of Cubes
   
   
 REALIZATION_TYPE
@@ -189,7 +198,7 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.kylin.tool.job.CubeBuildingCLI --cube $
 
   
   
-MIN，MAX，SUM of QUERY_TIME_COST
+MIN，MAX，SUM，PERCENTILE_APPROX of QUERY_TIME_COST
 the time cost for the whole query
   
   
@@ -210,6 +219,7 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.ky

[kylin] 02/02: a little update

2020-11-10 Thread xxyu 
This is an automated email from the ASF dual-hosted git repository.

xxyu pushed a commit to branch document
in repository https://gitbox.apache.org/repos/asf/kylin.git

commit 02182d1abf9f72b28649b8752dfbbee0095acf72
Author: xuekaiqi 
AuthorDate: Tue Nov 10 15:24:17 2020 +0800

a little update
---
 website/_docs/tutorial/setup_systemcube.cn.md | 100 +-
 website/_docs/tutorial/setup_systemcube.md|  98 +
 2 files changed, 103 insertions(+), 95 deletions(-)

diff --git a/website/_docs/tutorial/setup_systemcube.cn.md 
b/website/_docs/tutorial/setup_systemcube.cn.md
index d05e942..86a3cdb 100644
--- a/website/_docs/tutorial/setup_systemcube.cn.md
+++ b/website/_docs/tutorial/setup_systemcube.cn.md
@@ -20,7 +20,7 @@ permalink: /cn/docs/tutorial/setup_systemcube.html
 
 ## 如何建立系统 Cube
 
-本节我们介绍手动启用系统 Cube 的方法，如果您希望通过 shell 脚本自动创建系统 Cube，请参考[自动创建系统 Cube](#什么是系统 
Cube)。
+本节我们介绍手动启用系统 Cube 的方法，如果您希望通过 shell 脚本自动创建系统 Cube，请参考[自动创建系统 Cube](#自动创建系统 
Cube)。
 
 ### 1. 准备
 
@@ -173,7 +173,7 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
   
   
 REALIZATION
-the cube which the query hits. In Kylin，there are two OLAP 
realizations: Cube，or Hybrid of Cubes
+the cube which the query hits. In Kylin, there are two OLAP 
realizations: Cube, or Hybrid of Cubes
   
   
 REALIZATION_TYPE
@@ -181,11 +181,11 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
   
   
 QUERY_TYPE
-users can query on different data 
sources，CACHE，OLAP，LOOKUP_TABLE，HIVE
+users can query on different data sources: CACHE, OLAP, LOOKUP_TABLE, 
HIVE
   
   
 EXCEPTION
-when doing query，exceptions may happen. It's for classifying different 
exception types
+when doing query, exceptions may happen. It's for classifying 
different exception types
   
 
 
@@ -198,19 +198,19 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
 
   
   
-MIN，MAX，SUM，PERCENTILE_APPROX of QUERY_TIME_COST
+MIN, MAX, SUM, PERCENTILE_APPROX of QUERY_TIME_COST
 the time cost for the whole query
   
   
-MAX，SUM of CALCITE_SIZE_RETURN
+MAX, SUM of CALCITE_SIZE_RETURN
 the row count of the result Calcite returns
   
   
-MAX，SUM of STORAGE_SIZE_RETURN
+MAX, SUM of STORAGE_SIZE_RETURN
 the row count of the input to Calcite
   
   
-MAX，SUM of CALCITE_SIZE_AGGREGATE_FILTER
+MAX, SUM of CALCITE_SIZE_AGGREGATE_FILTER
 the row count of Calcite aggregates and filters
   
   
@@ -220,6 +220,7 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
 
 
 
+
 ### METRICS_QUERY_RPC
 这个 Cube 用于在最低级别收集查询 metrics。对于一个查询，相关的 aggregation 和 filter 能够下推到每一个 rpc 
目标服务器。Rpc 目标服务器的健壮性是更好查询性能的基础。细节如下：
 
@@ -237,7 +238,7 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
   
   
 REALIZATION
-the cube which the query hits.
+the cube which the query hits
   
   
 RPC_SERVER
@@ -245,7 +246,7 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
   
   
 EXCEPTION
-the exception of a rpc call. If no exception，"NULL" is used
+the exception of a rpc call. If no exception, "NULL" is used
   
 
 
@@ -258,32 +259,33 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
 
   
   
-MAX，SUM，PERCENTILE_APPROX of CALL_TIME
+MAX, SUM, PERCENTILE_APPROX of CALL_TIME
 the time cost of a rpc all
   
   
-MAX，SUM of COUNT_SKIP
-based on fuzzy filters or else，a few rows will be skiped. This 
indicates the skipped row count
+MAX, SUM of COUNT_SKIP
+based on fuzzy filters or else, a few rows will be skiped. This 
indicates the skipped row count
   
   
-MAX，SUM of SIZE_SCAN
+MAX, SUM of SIZE_SCAN
 the row count actually scanned
   
   
-MAX，SUM of SIZE_RETURN
+MAX, SUM of SIZE_RETURN
 the row count actually returned
   
   
-MAX，SUM of SIZE_AGGREGATE
+MAX, SUM of SIZE_AGGREGATE
 the row count actually aggregated
   
   
-MAX，SUM of SIZE_AGGREGATE_FILTER
-the row count actually aggregated and filtered，= SIZE_SCAN - 
SIZE_RETURN
+MAX, SUM of SIZE_AGGREGATE_FILTER
+the row count actually aggregated and filtered, = SIZE_SCAN - 
SIZE_RETURN
   
 
 
 
+
 ### METRICS_QUERY_CUBE
 这个 Cube 用于在 Cube 级别收集查询 metrics。最重要的是 cuboids 相关的，其为 Cube planner 提供服务。细节如下：
 
@@ -316,7 +318,6 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
 whether a query on this Cube is successful or not
   
 
-
 
   
 Measure
@@ -330,40 +331,41 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
 
   
   
-MAX，SUM of STORAGE_CALL_COUNT
+MAX, SUM of STORAGE_CALL_COUNT
 the number of rpc calls for a query hit on this Cube
   
   
-MAX，SUM of STORAGE_CALL_TIME_SUM
+MAX, SUM of STORAGE_CALL_TIME_SUM
 sum of time cost for the rpc calls of a query
   
   
-MAX，SUM of STORAGE_CALL_TIME_MAX
+MAX, SUM of STORAGE_CALL_TIME_MAX
 max of time cost among the rpc calls of a query
   
   
-MAX，SUM of STORAGE_COUNT_SKIP
+MAX, SUM of STORAGE_COUNT_SKIP
 the sum of row count skipped for the related rpc calls
   
   
-MAX，SUM of STORAGE_COUNT_SCAN
+MAX, SUM of STORAGE_CO

[kylin] branch document updated (3b1e481 -> 02182d1)

2020-11-10 Thread xxyu 
This is an automated email from the ASF dual-hosted git repository.

xxyu pushed a change to branch document
in repository https://gitbox.apache.org/repos/asf/kylin.git.


from 3b1e481  Prepare release for Kylin 3.1.1
 new bda1466  update system cube
 new 02182d1  a little update

The 2 revisions listed above as "new" are entirely new to this
repository and will be described in separate emails.  The revisions
listed as "add" were already present in the repository and have only
been added to this reference.


Summary of changes:
 website/_docs/tutorial/setup_systemcube.cn.md | 206 +-
 website/_docs/tutorial/setup_systemcube.md| 141 +-
 2 files changed, 233 insertions(+), 114 deletions(-)

[kylin] 01/02: update system cube

2020-11-10 Thread xxyu 
This is an automated email from the ASF dual-hosted git repository.

xxyu pushed a commit to branch document
in repository https://gitbox.apache.org/repos/asf/kylin.git

commit bda1466486b3a1bd082326fd0e0710bf8dcd5940
Author: xuekaiqi 
AuthorDate: Tue Nov 10 10:26:19 2020 +0800

update system cube
---
 website/_docs/tutorial/setup_systemcube.cn.md | 152 +++---
 website/_docs/tutorial/setup_systemcube.md| 177 +-
 2 files changed, 220 insertions(+), 109 deletions(-)

diff --git a/website/_docs/tutorial/setup_systemcube.cn.md 
b/website/_docs/tutorial/setup_systemcube.cn.md
index 0224cec..d05e942 100644
--- a/website/_docs/tutorial/setup_systemcube.cn.md
+++ b/website/_docs/tutorial/setup_systemcube.cn.md
@@ -7,16 +7,24 @@ permalink: /cn/docs/tutorial/setup_systemcube.html
 
 > 自 Apache Kylin v2.3.0 起有效
 
-## 什么是系统 Cube
+本节主要内容：
+
+- [什么是系统 Cube](#什么是系统 Cube)
+- [如何建立系统 Cube](#如何建立系统 Cube)
+- [自动创建系统 Cube](#自动创建系统 Cube)
+- [系统 Cube 的细节](#系统 Cube 的细节)
+
+## 什么是系统 Cube
 
 为了更好的支持自我监控，在系统 project 下创建一组系统 Cubes，叫做 "KYLIN_SYSTEM"。现在，这里有五个 
Cubes。三个用于查询指标，"METRICS_QUERY"，"METRICS_QUERY_CUBE"，"METRICS_QUERY_RPC"。另外两个是 
job 指标，"METRICS_JOB"，"METRICS_JOB_EXCEPTION"。
 
-## 如何建立系统 Cube
+## 如何建立系统 Cube
 
-### 准备
-在 KYLIN_HOME 目录下创建一个配置文件 SCSinkTools.json。
+本节我们介绍手动启用系统 Cube 的方法，如果您希望通过 shell 脚本自动创建系统 Cube，请参考[自动创建系统 Cube](#什么是系统 
Cube)。
 
-例如：
+### 1. 准备
+
+在 KYLIN_HOME 目录下创建一个配置文件 SCSinkTools.json。例如：
 
 ```
 [
@@ -31,8 +39,8 @@ permalink: /cn/docs/tutorial/setup_systemcube.html
 ]
 ```
 
-### 1. 生成 Metadata
-在 KYLIN_HOME 文件夹下运行一下命令生成相关的 metadata：
+### 2. 生成 Metadata
+在 KYLIN_HOME 文件夹下运行以下命令生成相关的 metadata：
 
 ```
 ./bin/kylin.sh org.apache.kylin.tool.metrics.systemcube.SCCreator \
@@ -44,37 +52,32 @@ permalink: /cn/docs/tutorial/setup_systemcube.html
 
 ![metadata](/images/SystemCube/metadata.png)
 
-### 2. 建立数据源
-运行下列命令生成 hive 源表：
+### 3. 建立数据源
+运行下列命令生成 Hive 源表：
 
 ```
 hive -f /create_hive_tables_for_system_cubes.sql
 ```
 
-通过这个命令，相关的 hive 表将会被创建。
+通过这个命令，相关的 hive 表将会被创建。每一个系统 Cube 中的事实表对应了一张 Hive 源表，Hive 
源表中记录了查询或任务相关的数据，这些数据将为系统 Cube 服务。
 
 ![hive_table](/images/SystemCube/hive_table.png)
 
-### 3. 为 System Cubes 上传 Metadata 
+### 4. 为系统 Cubes 上传 Metadata 
 然后我们需要通过下列命令上传 metadata 到 hbase：
 
 ```
 ./bin/metastore.sh restore 
 ```
 
-### 4. 重载 Metadata
-最终，我们需要在 Kylin web UI 重载 metadata。
-
+### 5. 重载 Metadata
+最终，我们需要在 Kylin web UI 重载 metadata。然后，一组系统 Cubes 将会被创建在系统 project 下，称为 
"KYLIN_SYSTEM"。
 
-然后，一组系统 Cubes 将会被创建在系统 project 下，称为 "KYLIN_SYSTEM"。
 
+### 6. 构建系统 Cube
+当系统 Cube 被创建，我们需要定期构建 Cube。方法如下：
 
-### 5. 系统 Cube build
-当系统 Cube 被创建，我们需要定期 build Cube。
-
-1. 创建一个 shell 脚本其通过调用 org.apache.kylin.tool.job.CubeBuildingCLI 来 build 系统 Cube
-  
-   例如:
+**步骤一**：创建一个 shell 脚本，通过调用 org.apache.kylin.tool.job.CubeBuildingCLI 来构建系统 
Cube。例如：
 
 {% highlight Groff markup %}
 #!/bin/bash
@@ -96,9 +99,7 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.kylin.tool.job.CubeBuildingCLI --cube $
 
 {% endhighlight %}
 
-2. 然后定期运行这个 shell 脚本
-
-   例如，像接下来这样添加一个 cron job：
+**步骤二**：定期运行这个 shell 脚本。例如，像接下来这样添加一个 cron job：
 
 {% highlight Groff markup %}
 0 */2 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh 
KYLIN_HIVE_METRICS_QUERY_QA 360 120
@@ -113,20 +114,23 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.kylin.tool.job.CubeBuildingCLI --cube $
 
 {% endhighlight %}
 
-## 自动创建系统cube
+## 自动创建系统 Cube
 
-从kylin 2.6.0开始提供system-cube.sh脚本，用户可以通过执行此脚本来自动创建系统cube。
+从kylin 2.6.0 开始提供 system-cube.sh 脚本，用户可以通过执行此脚本来自动创建系统 Cube。
 
-- 创建系统cube：`sh system-cube.sh setup`
+- 创建系统 Cube：`sh system-cube.sh setup`
 
-- 构建系统cube：`sh bin/system-cube.sh build`
+- 构建系统 Cube：`sh bin/system-cube.sh build`
 
-- 为系统cube添加定时任务：`bin/system.sh cron`
+- 为系统 Cube 添加定时任务：`bin/system.sh cron`
 
-## 系统 Cube 的细节
+## 系统 Cube 的细节
+
+Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系统 Cube 的事实表对应了一张 Hive 表，共有 5 个系统 Cube。
 
 ### 普通 Dimension
-对于这些 Cube，admins 能够用四个时间粒度查询。从高级别到低级别，如下：
+
+对于这些系统 Cube，admins 能够用四个时间粒度查询，这些维度在 5 个系统 Cube 中均生效。从高级别到低级别，如下：
 
 
   
@@ -147,6 +151,7 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.kylin.tool.job.CubeBuildingCLI --cube $
   
 
 
+
 ### METRICS_QUERY
 这个 Cube 用于在最高级别收集查询 metrics。细节如下：
 
@@ -159,12 +164,16 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.kylin.tool.job.CubeBuildingCLI --cube $
 the host of server for query engine
   
   
+KUSER
+the user who executes the query
+  
+  
 PROJECT
-
+the project where the query executes
   
   
 REALIZATION
-in Kylin，there are two OLAP realizations: Cube，or Hybrid of Cubes
+the cube which the query hits. In Kylin，there are two OLAP 
realizations: Cube，or Hybrid of Cubes
   
   
 REALIZATION_TYPE
@@ -189,7 +198,7 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.kylin.tool.job.CubeBuildingCLI --cube $
 
   
   
-MIN，MAX，SUM of QUERY_TIME_COST
+MIN，MAX，SUM，PERCENTILE_APPROX of QUERY_TIME_COST
 the time cost for the whole query
   
   
@@ -210,6 +219,7 @@ sh ${KYLIN_HOME}/bin/kylin.sh 
org.apache.ky

[kylin] 02/02: a little update

2020-11-10 Thread xxyu 
This is an automated email from the ASF dual-hosted git repository.

xxyu pushed a commit to branch document
in repository https://gitbox.apache.org/repos/asf/kylin.git

commit 02182d1abf9f72b28649b8752dfbbee0095acf72
Author: xuekaiqi 
AuthorDate: Tue Nov 10 15:24:17 2020 +0800

a little update
---
 website/_docs/tutorial/setup_systemcube.cn.md | 100 +-
 website/_docs/tutorial/setup_systemcube.md|  98 +
 2 files changed, 103 insertions(+), 95 deletions(-)

diff --git a/website/_docs/tutorial/setup_systemcube.cn.md 
b/website/_docs/tutorial/setup_systemcube.cn.md
index d05e942..86a3cdb 100644
--- a/website/_docs/tutorial/setup_systemcube.cn.md
+++ b/website/_docs/tutorial/setup_systemcube.cn.md
@@ -20,7 +20,7 @@ permalink: /cn/docs/tutorial/setup_systemcube.html
 
 ## 如何建立系统 Cube
 
-本节我们介绍手动启用系统 Cube 的方法，如果您希望通过 shell 脚本自动创建系统 Cube，请参考[自动创建系统 Cube](#什么是系统 
Cube)。
+本节我们介绍手动启用系统 Cube 的方法，如果您希望通过 shell 脚本自动创建系统 Cube，请参考[自动创建系统 Cube](#自动创建系统 
Cube)。
 
 ### 1. 准备
 
@@ -173,7 +173,7 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
   
   
 REALIZATION
-the cube which the query hits. In Kylin，there are two OLAP 
realizations: Cube，or Hybrid of Cubes
+the cube which the query hits. In Kylin, there are two OLAP 
realizations: Cube, or Hybrid of Cubes
   
   
 REALIZATION_TYPE
@@ -181,11 +181,11 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
   
   
 QUERY_TYPE
-users can query on different data 
sources，CACHE，OLAP，LOOKUP_TABLE，HIVE
+users can query on different data sources: CACHE, OLAP, LOOKUP_TABLE, 
HIVE
   
   
 EXCEPTION
-when doing query，exceptions may happen. It's for classifying different 
exception types
+when doing query, exceptions may happen. It's for classifying 
different exception types
   
 
 
@@ -198,19 +198,19 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
 
   
   
-MIN，MAX，SUM，PERCENTILE_APPROX of QUERY_TIME_COST
+MIN, MAX, SUM, PERCENTILE_APPROX of QUERY_TIME_COST
 the time cost for the whole query
   
   
-MAX，SUM of CALCITE_SIZE_RETURN
+MAX, SUM of CALCITE_SIZE_RETURN
 the row count of the result Calcite returns
   
   
-MAX，SUM of STORAGE_SIZE_RETURN
+MAX, SUM of STORAGE_SIZE_RETURN
 the row count of the input to Calcite
   
   
-MAX，SUM of CALCITE_SIZE_AGGREGATE_FILTER
+MAX, SUM of CALCITE_SIZE_AGGREGATE_FILTER
 the row count of Calcite aggregates and filters
   
   
@@ -220,6 +220,7 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
 
 
 
+
 ### METRICS_QUERY_RPC
 这个 Cube 用于在最低级别收集查询 metrics。对于一个查询，相关的 aggregation 和 filter 能够下推到每一个 rpc 
目标服务器。Rpc 目标服务器的健壮性是更好查询性能的基础。细节如下：
 
@@ -237,7 +238,7 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
   
   
 REALIZATION
-the cube which the query hits.
+the cube which the query hits
   
   
 RPC_SERVER
@@ -245,7 +246,7 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
   
   
 EXCEPTION
-the exception of a rpc call. If no exception，"NULL" is used
+the exception of a rpc call. If no exception, "NULL" is used
   
 
 
@@ -258,32 +259,33 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
 
   
   
-MAX，SUM，PERCENTILE_APPROX of CALL_TIME
+MAX, SUM, PERCENTILE_APPROX of CALL_TIME
 the time cost of a rpc all
   
   
-MAX，SUM of COUNT_SKIP
-based on fuzzy filters or else，a few rows will be skiped. This 
indicates the skipped row count
+MAX, SUM of COUNT_SKIP
+based on fuzzy filters or else, a few rows will be skiped. This 
indicates the skipped row count
   
   
-MAX，SUM of SIZE_SCAN
+MAX, SUM of SIZE_SCAN
 the row count actually scanned
   
   
-MAX，SUM of SIZE_RETURN
+MAX, SUM of SIZE_RETURN
 the row count actually returned
   
   
-MAX，SUM of SIZE_AGGREGATE
+MAX, SUM of SIZE_AGGREGATE
 the row count actually aggregated
   
   
-MAX，SUM of SIZE_AGGREGATE_FILTER
-the row count actually aggregated and filtered，= SIZE_SCAN - 
SIZE_RETURN
+MAX, SUM of SIZE_AGGREGATE_FILTER
+the row count actually aggregated and filtered, = SIZE_SCAN - 
SIZE_RETURN
   
 
 
 
+
 ### METRICS_QUERY_CUBE
 这个 Cube 用于在 Cube 级别收集查询 metrics。最重要的是 cuboids 相关的，其为 Cube planner 提供服务。细节如下：
 
@@ -316,7 +318,6 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
 whether a query on this Cube is successful or not
   
 
-
 
   
 Measure
@@ -330,40 +331,41 @@ Hive 中有 5 张表记录了 Kylin 系统的相关指标数据，每一个系
 
   
   
-MAX，SUM of STORAGE_CALL_COUNT
+MAX, SUM of STORAGE_CALL_COUNT
 the number of rpc calls for a query hit on this Cube
   
   
-MAX，SUM of STORAGE_CALL_TIME_SUM
+MAX, SUM of STORAGE_CALL_TIME_SUM
 sum of time cost for the rpc calls of a query
   
   
-MAX，SUM of STORAGE_CALL_TIME_MAX
+MAX, SUM of STORAGE_CALL_TIME_MAX
 max of time cost among the rpc calls of a query
   
   
-MAX，SUM of STORAGE_COUNT_SKIP
+MAX, SUM of STORAGE_COUNT_SKIP
 the sum of row count skipped for the related rpc calls
   
   
-MAX，SUM of STORAGE_COUNT_SCAN
+MAX, SUM of STORAGE_CO

[kylin] branch document updated (3b1e481 -> 02182d1)

2020-11-10 Thread xxyu 
This is an automated email from the ASF dual-hosted git repository.

xxyu pushed a change to branch document
in repository https://gitbox.apache.org/repos/asf/kylin.git.


from 3b1e481  Prepare release for Kylin 3.1.1
 new bda1466  update system cube
 new 02182d1  a little update

The 2 revisions listed above as "new" are entirely new to this
repository and will be described in separate emails.  The revisions
listed as "add" were already present in the repository and have only
been added to this reference.


Summary of changes:
 website/_docs/tutorial/setup_systemcube.cn.md | 206 +-
 website/_docs/tutorial/setup_systemcube.md| 141 +-
 2 files changed, 233 insertions(+), 114 deletions(-)

svn commit: r1883250 - in /kylin/site: cn/docs/tutorial/setup_systemcube.html docs/tutorial/setup_systemcube.html feed.xml

2020-11-10 Thread lidong 
Author: lidong
Date: Tue Nov 10 14:09:19 2020
New Revision: 1883250

URL: http://svn.apache.org/viewvc?rev=1883250&view=rev
Log:
a little update

Modified:
kylin/site/cn/docs/tutorial/setup_systemcube.html
kylin/site/docs/tutorial/setup_systemcube.html
kylin/site/feed.xml

Modified: kylin/site/cn/docs/tutorial/setup_systemcube.html
URL: 
http://svn.apache.org/viewvc/kylin/site/cn/docs/tutorial/setup_systemcube.html?rev=1883250&r1=1883249&r2=1883250&view=diff
==
--- kylin/site/cn/docs/tutorial/setup_systemcube.html (original)
+++ kylin/site/cn/docs/tutorial/setup_systemcube.html Tue Nov 10 14:09:19 2020
@@ -182,16 +182,26 @@ var _hmt = _hmt || [];
   自 Apache Kylin v2.3.0 起有效
 
 
-什么是系统 Cube
+本节主要内容：
+
+
+  什么是系统 Cube
+  如何建立系统 Cube
+  自动创建系统 Cube
+  系统 Cube 的细节
+
+
+什么是系统 
Cube
 
 为了更好的支持自我监控，在系统 project 下创建一组系统 
Cubes，叫做 “KYLIN_SYSTEM”。现在，这里有五个 
Cubes。三个用于查询指æ 
‡ï¼Œâ€METRICS_QUERY”，”METRICS_QUERY_CUBE”，”METRICS_QUERY_RPC”。另外两个是
 job 指标，”METRICS_JOB”，”METRICS_JOB_EXCEPTION”。
 
-如何建立系统 Cube
+如何建立系统 Cube
 
-准备
-在 KYLIN_HOME 目录下创建一个配置文件 SCSinkTools.json。
+本节我们介绍手动启用系统 Cube 的方法，如果您希望通过 
shell 脚本自动创建系统 Cube，请参考自动创建系统 Cube。
 
-例如：
+1. 准备
+
+在 KYLIN_HOME 目录下创建一个配置文件 
SCSinkTools.json。例如：
 
 [
 {
@@ -206,8 +216,8 @@ var _hmt = _hmt || [];
 
 
 
-1. 生成 Metadata
-在 KYLIN_HOME 文件夹下运行一下命令生成相关的 metadata：
+2. 生成 Metadata
+在 KYLIN_HOME 文件夹下运行以下命令生成相关的 metadata：
 
 ./bin/kylin.sh 
org.apache.kylin.tool.metrics.systemcube.SCCreator \
 -inputConfig SCSinkTools.json \
@@ -219,39 +229,31 @@ var _hmt = _hmt || [];
 
 
 
-2. 建立数据源
-运行下列命令生成 hive 源表：
+3. 建立数据源
+运行下列命令生成 Hive 源表：
 
 hive -f 
/create_hive_tables_for_system_cubes.sql
 
 
 
-通过这个命令，相关的 hive 表将会被创建。
+通过这个命令，相关的 hive 表将会被创建。每一个系统 
Cube 中的事实表对应了一张 Hive 源表，Hive 
源表中记录了查询或任务相关的数据，这些数据将为系统 
Cube 服务。
 
 
 
-3. 为 System Cubes 上传 Metadata
+4. 为系统 Cubes 上传 Metadata
 然后我们需要通过下列命令上传 metadata 到 hbase：
 
 ./bin/metastore.sh 
restore 
 
 
 
-4. 重载 Metadata
-最终，我们需要在 Kylin web UI 重载 metadata。
-
-然后，一组系统 Cubes 将会被创建在系统 project 下，称为 
“KYLIN_SYSTEM”。
-
-5. 系统 Cube build
-当系统 Cube 被创建，我们需要定期 build Cube。
+5. 重载 Metadata
+最终，我们需要在 Kylin web UI 重载 
metadata。然后，一组系统 Cubes 将会被创建在系统 project 
下，称为 “KYLIN_SYSTEM”。
 
-
-  
-创建一个 shell 脚本其通过调用 
org.apache.kylin.tool.job.CubeBuildingCLI 来 build 系统 Cube
+6. 构建系统 Cube
+当系统 Cube 被创建，我们需要定期构建 
Cube。方法如下：
 
-例如:
-  
-
+步骤一：创建一个 shell 脚本，通过调用 
org.apache.kylin.tool.job.CubeBuildingCLI 来构建系统 Cube。例如：
 
 #!/bin/bash
 
@@ -270,13 +272,7 @@ ID="$END"
 echo "building for ${CUBE}_${ID}" >> ${KYLIN_HOME}/logs/build_trace.log
 sh ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.job.CubeBuildingCLI --cube 
${CUBE} --endTime ${END} > ${KYLIN_HOME}/logs/system_cube_${CUBE}_${END}.log 
2>&1 &
 
-
-  
-然后定期运行这个 shell 脚本
-
-例如，像接下来这样添加一个 cron job：
-  
-
+步骤二：定期运行这个 shell 
脚本。例如，像接下来这样添加一个 cron job：
 
 0 
*/2 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_QUERY_QA 
360 120
 
@@ -288,26 +284,29 @@ sh ${KYLIN_HOME}/bin/kylin.sh org.apache
 
 50 */12 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh 
KYLIN_HIVE_METRICS_JOB_EXCEPTION_QA 360 12000
 
-自动创建系统cube
+自动创建系统 Cube
 
-从kylin 
2.6.0开始提供system-cube.sh脚本，用户可以通过执行此脚本来自动创建系统cube。
+从kylin 2.6.0 开始提供 system-cube.sh 
脚本，用户可以通过执行此脚本来自动创建系统 Cube。
 
 
   
-创建系统cube：sh system-cube.sh 
setup
+创建系统 Cube：sh system-cube.sh 
setup
   
   
-构建系统cube：sh 
bin/system-cube.sh build
+构建系统 Cube：sh 
bin/system-cube.sh build
   
   
-为系统cube添加定时任务：bin/system.sh cron
+为系统 Cube 添加定时任务：bin/system.sh cron
   
 
 
-ç³»