svn commit: r1900099 [3/4] - in /kylin/site: ./ cn/blog/ cn_blog/2022/04/ cn_blog/2022/04/20/ cn_blog/2022/04/20/kylin4-on-cloud-part1/ cn_blog/2022/04/20/kylin4-on-cloud-part2/ images/blog/kylin4_on_cloud/

[lidong]

Modified: kylin/site/feed.xml
URL: 
http://svn.apache.org/viewvc/kylin/site/feed.xml?rev=1900099&r1=1900098&r2=1900099&view=diff
==============================================================================
--- kylin/site/feed.xml (original)
+++ kylin/site/feed.xml Thu Apr 21 08:37:12 2022
@@ -19,11 +19,648 @@
     <description>Apache Kylin Home</description>
     <link>http://kylin.apache.org/</link>
     <atom:link href="http://kylin.apache.org/feed.xml"; rel="self" 
type="application/rss+xml"/>
-    <pubDate>Thu, 31 Mar 2022 06:59:26 -0700</pubDate>
-    <lastBuildDate>Thu, 31 Mar 2022 06:59:26 -0700</lastBuildDate>
+    <pubDate>Thu, 21 Apr 2022 01:27:57 -0700</pubDate>
+    <lastBuildDate>Thu, 21 Apr 2022 01:27:57 -0700</lastBuildDate>
     <generator>Jekyll v2.5.3</generator>
     
       <item>
+        <title>Kylin on Cloud —— 
两小时快速搭建云上数据分析平台(下)</title>
+        <description>&lt;p&gt;以下部分为 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;Kylin on Cloud —— 
两小时快速搭建云上数据分析平台&lt;/code&gt; 
的下篇，上篇请查看：&lt;a 
href=&quot;../kylin4-on-cloud-part1/&quot;&gt;Kylin on Cloud —— 
两小时快速搭建云上数据分析平台(上)&lt;/a&gt;&lt;/p&gt;
+
+&lt;h3 id=&quot;kylin-&quot;&gt;Kylin 查询集群&lt;/h3&gt;
+
+&lt;h4 id=&quot;kylin--1&quot;&gt;启动 Kylin 查询集群&lt;/h4&gt;
+
+&lt;p&gt;1.在启动构建集群时使用的 kylin_configs.yaml 
的基础上，打开 mdx 开关：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;ENABLE_MDX: &amp;amp;ENABLE_MDX 
&#39;true&#39;
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;2.然后执行部署命令启动集群：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;python deploy.py --type deploy 
--mode query
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;h4 id=&quot;kylin--2&quot;&gt;体验 kylin 的查询速度&lt;/h4&gt;
+
+&lt;p&gt;1.查询集群启动成功后，先执行 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;python deploy.py --type 
list&lt;/code&gt; 命令来列出所有节点信息，然后在浏览器输入 
http://${kylin_node_public_ip}:7070/kylin 检查 kylin UI：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/14_kylin_web_ui.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;2.在 Insight 页面执行与之前在 spark-sql 中相同的 
sql：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;select 
TAXI_TRIP_RECORDS_VIEW.PICKUP_DATE, NEWYORK_ZONE.BOROUGH, count(*), 
sum(TAXI_TRIP_RECORDS_VIEW.TRIP_TIME_HOUR), 
sum(TAXI_TRIP_RECORDS_VIEW.TOTAL_AMOUNT)
+from TAXI_TRIP_RECORDS_VIEW
+left join NEWYORK_ZONE
+on TAXI_TRIP_RECORDS_VIEW.PULOCATIONID = NEWYORK_ZONE.LOCATIONID
+group by TAXI_TRIP_RECORDS_VIEW.PICKUP_DATE, NEWYORK_ZONE.BOROUGH;
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/15_query_in_kylin.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;可以看到，在查询击中 cube 的情
况下，也就是查询结果直接来自于预计算后的数据，只使用了大概
 4 
秒的时间就返回了查询结果，大大节省了查询时间。&lt;/p&gt;
+
+&lt;h3 id=&quot;section&quot;&gt;预计算降低查询成本&lt;/h3&gt;
+
+&lt;p&gt;在对比原生 SparkSql 和 Kylin 
查询速度的测试中，我们使用的数据集是纽约市出租车订单数据，事实表å
…±æœ‰ 2 亿+ 
数据。从对比结果可以看到，在上亿的大数据分析场景下，Kylin
 能够显著提升查询效率，通过一次构建加
速上千上万次业务查询，极大的降低查询成本。&lt;/p&gt;
+
+&lt;h3 id=&quot;section-1&quot;&gt;配置语义层&lt;/h3&gt;
+
+&lt;h4 id=&quot;mdx-for-kylin--dataset&quot;&gt;向 MDX for Kylin 导入 
Dataset&lt;/h4&gt;
+
+&lt;p&gt;在 &lt;code class=&quot;highlighter-rouge&quot;&gt;MDX for 
Kylin&lt;/code&gt; 中可以根据所连接的 Kylin 中的 Cube 来创建 
&lt;code class=&quot;highlighter-rouge&quot;&gt;Dataset&lt;/code&gt;，定义 
Cube 关系，创建业务指标。为方便体验，用户可以直接从 S3 
下载 Dataset 文件导入到 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;MDX for Kylin&lt;/code&gt; 
中：&lt;/p&gt;
+
+&lt;p&gt;1.从 S3 下载 Dataset 文件到本地机器&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;wget 
https://s3.cn-north-1.amazonaws.com.cn/public.kyligence.io/kylin/kylin_demo/covid_trip_project_covid_trip_dataset.json
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;2.访问 &lt;code class=&quot;highlighter-rouge&quot;&gt;MDX for 
Kylin&lt;/code&gt; 界面&lt;/p&gt;
+
+&lt;p&gt;在浏览器输入 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;http://${kylin_node_public_ip}:7080&lt;/code&gt;
 访问 &lt;code class=&quot;highlighter-rouge&quot;&gt;MDX for 
Kylin&lt;/code&gt; 页面，以 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;ADMIN/KYLIN&lt;/code&gt; 
的用户名密码组合登录：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/16_mdx_web_ui.png&quot; alt=&quot;&quot; 
/&gt;&lt;/p&gt;
+
+&lt;p&gt;3.确认 Kylin 连接&lt;/p&gt;
+
+&lt;p&gt;&lt;code class=&quot;highlighter-rouge&quot;&gt;MDX for 
Kylin&lt;/code&gt; 中已经配置了需要连接的 kylin 
节点的信息，首次登录需要输入 kylin 节点的用户名和密ç 
ä¹Ÿå°±æ˜¯ &lt;code 
class=&quot;highlighter-rouge&quot;&gt;ADMIN/KYLIN&lt;/code&gt;：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/17_connect_to_kylin.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/18_exit_management.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;4.导入 Dataset&lt;/p&gt;
+
+&lt;p&gt;连接 Kylin 成功后点击右上角的图æ 
‡é€€å‡ºç®¡ç†ç•Œé¢ï¼š&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/19_kylin_running.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;切换到 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;covid_trip_project&lt;/code&gt; 
项目，在 Dataset 页面中点击 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;Import Dataset&lt;/code&gt;：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/20_import_dataset.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;选择刚刚从 S3 下载的文件 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;covid_trip_project_covid_trip_dataset.json&lt;/code&gt;
 导入。&lt;/p&gt;
+
+&lt;p&gt;&lt;code 
class=&quot;highlighter-rouge&quot;&gt;covid_trip_dataset&lt;/code&gt; 
中定义了各原子指æ 
‡çš„年累计、月累计、年增速、月增速，和时间层级、地区层级等特殊维度、度量，以及新å†
 è‚ºç‚Žç—…死率、出租车平均速度等业务指标。如何手动创建 
Dataset 请参考：&lt;a 
href=&quot;https://cwiki.apache.org/confluence/display/KYLIN/Create+Dataset+in+MDX+for+Kylin&quot;&gt;Create
 dataset in MDX for Kylin&lt;/a&gt;，MDX for Kylin 
手册链接请参考：&lt;a 
href=&quot;https://kyligence.github.io/mdx-kylin/&quot;&gt;MDX for Kylin 
使用手册&lt;/a&gt;。&lt;/p&gt;
+
+&lt;h2 id=&quot;section-2&quot;&gt;数据分析&lt;/h2&gt;
+
+&lt;h3 id=&quot;tableau-&quot;&gt;通过 Tableau 进行数据分析&lt;/h3&gt;
+
+&lt;p&gt;我们以本地 windows 机器上的 tableau 为例连接 MDX for 
Kylin 进行数据分析。&lt;/p&gt;
+
+&lt;p&gt;1.选择 Tableau 内置的 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;Microsoft Analysis Service&lt;/code&gt; 
来连接 &lt;code class=&quot;highlighter-rouge&quot;&gt;MDX for 
Kylin&lt;/code&gt; (需要提前安装 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;Microsoft Analysis Services&lt;/code&gt; 
驱动，可从 tableau 官网下载，&lt;a 
href=&quot;https://www.tableau.com/support/drivers?_ga=2.104833284.564621013.1647953885-1839825424.1608198275&quot;&gt;Microsoft
 Analysis Services 驱动下载&lt;/a&gt;)&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/21_tableau_connect.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;2.在弹出的设置页面中填写 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;MDX for Kylin&lt;/code&gt; 
的连接地址，以及用户名和密码，连接地址为 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;http://${kylin_node_public_ip}:7080/mdx/xmla/covid_trip_project&lt;/code&gt;:&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/22_tableau_server.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;3.选择 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;covid_trip_dataset&lt;/code&gt; 
作为数据集：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/23_tableau_dataset.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;4.然后即可在工作表中进行数据分析，由于我们在 
&lt;code class=&quot;highlighter-rouge&quot;&gt;MDX for Kylin&lt;/code&gt; 
中已经统一定义了业务指标，所以在 tableau 
中制作数据分析报表时，可以直接拖拽定义好的业务指æ 
‡åˆ°å·¥ä½œè¡¨ä¸­è¿›è¡Œå±•ç¤ºã€‚&lt;/p&gt;
+
+&lt;p&gt;5.首先分析疫情数据，通过确诊人数、病死率两个指æ 
‡æ¥ç»˜åˆ¶å›½å®¶çº§åˆ«çš„疫情地图，只需要将地区层级中的 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;COUNTRY_SHORT_NAME&lt;/code&gt; 
放到工作表的列中 ，将事先定义好的新增确诊人数总和 
&lt;code 
class=&quot;highlighter-rouge&quot;&gt;SUM_NEW_POSITIVE_CASES&lt;/code&gt; 
和病死率指标 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;CFR_COVID19&lt;/code&gt; 
放到工作表的行中，然后选择以地图形式展示数据结果：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/24_tableau_covid19_map.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;其中，图标面积代表死亡人数级别，图标颜色深浅
代表病死率级别。通过疫情
地图可以看出，美国和印度的确诊人数相对较多，但是这两个国家的ç—
…死率与å…
¶ä»–大多数国家没有明显差别；而确诊人数很少的秘鲁、瓦努阿图、墨西哥等国家的ç—
…死率则居高不下。从这个现象å…
¥æ‰‹ï¼Œä¹Ÿè®¸å¯ä»¥æŒ–掘到更深层次的原因。&lt;/p&gt;
+
+&lt;p&gt;由于我们设置了地区层级，所以可以将国家级别的疫æƒ
…地图下钻到省级别，查看各个国家内部各个地区的疫情情
况：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/25_tableau_province.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;在 province 级别的疫情地图放大看美国的疫情
状况：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/26_tableau_us_covid19.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;可以发现，美国每个州的病死率没有明显差距，都在 
0.01 左右；在确诊人数上，California、Texas、Florida 
以及纽约市几个地区明显偏高，这几
个地区经济发达、人口众多，新冠
肺炎确诊人数也随之攀升。下面针对纽约市出租车数据集，结合疫æƒ
…发展情况，分析疫情
形势下人们乘坐出租车出行的数据变化。&lt;/p&gt;
+
+&lt;p&gt;6.对于纽约市出租车订单数据集，分别从以下两个业务问题å
…¥æ‰‹ï¼š&lt;/p&gt;
+
+&lt;ul&gt;
+  
&lt;li&gt;分析纽约市各个街区出行特征，对比订单数量、出行速度等出行指æ
 ‡&lt;/li&gt;
+&lt;/ul&gt;
+
+&lt;p&gt;将 lookup 表 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;PICKUP_NEWYORK_ZONE&lt;/code&gt; 
中的字段 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;BOROUGH&lt;/code&gt; 
拖拽到工作表的列中，将指标 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;ORDER_COUNT&lt;/code&gt;、&lt;code 
class=&quot;highlighter-rouge&quot;&gt;trip_mean_speed&lt;/code&gt; 
拖拽到工作表的行中，以符号地图的方式展示，颜色深浅
代表平均速度、面积大小代表订单数量，可以看到从曼哈顿区出发的出租车订单比别的街区总和都要高，但是平均速度最小，Queens
 街区次之，Staten Island 则是出租è�
 �¦æ´»åŠ¨æœ€å°‘的一个街区。从 Bronx 出发的出租车平均速度高达 
82 英里/小时，比其他街区的平均速度都高出几
倍。从这些出行特征可以映
射出纽约市各个街区的人口密集程度以及经济发达程度。&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/27_tableau_taxi_1.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;然后将 lookup 表 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;PICKUP_NEWYORK_ZONE&lt;/code&gt; 
中的字段 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;BOROUGH&lt;/code&gt; 换成 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;DROPOFF_NEWYORK_ZONE&lt;/code&gt; 中的 
&lt;code 
class=&quot;highlighter-rouge&quot;&gt;BOROUGH&lt;/code&gt;，统计出租车订单到达街区的数量和平均速度：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/27_tableau_taxi_2.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;相比出发街区的数据，brookly、Queens 和 Bronx 
三个街区的到达数据都有比较明显的差别，从比例å…
³ç³»ä¸Šæ¥çœ‹ï¼Œåˆ°è¾¾ brookly 和 Bronx 的出租车订单要远远多于从 
Brookly 和 Bronx 出发的订单，到达 Queens 
街区的订单数量则明显小于从 Queens 
街区出发的订单。&lt;/p&gt;
+
+&lt;ul&gt;
+  &lt;li&gt;疫情前后纽约市居民乘坐出租车的出行习
惯变化，更偏向远程出行还是近程&lt;/li&gt;
+&lt;/ul&gt;
+
+&lt;p&gt;通过平均出行里程分析居民出行习惯变化，将维度 
&lt;code class=&quot;highlighter-rouge&quot;&gt;MONTH_START&lt;/code&gt; 
拖拽到工作表的行，将指标 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;trip_mean_distance&lt;/code&gt; 
拖拽到工作表的列：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/28_tableau_taxi_3.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;根据柱状图的结果可以发现，疫情前后人们的出行习
惯发生了明显的变化，从 2020.03 
开始平均出行里程有明显升高，甚至有的月份发生数倍增长，并且疫æƒ
…
开始后每个月的平均出行里程变的很不稳定。基于这种数据表现，我们可以再结合月份维度的疫æƒ
…数据进行联合分析，将 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;SUM_NEW_POSITIVE_CASES&lt;/code&gt; 和 
&lt;code class=&quot;highlighter-rouge&quot;&gt;MTD_ORDER_COUNT&lt;/code&gt; 
拖拽到工作表的行中，并在筛选器中增
 加筛选条件 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;PROVINCE_STATE_NAME=New 
York&lt;/code&gt;：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/29_tableau_taxi_4.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;可以看到一个有趣的现象，疫情
初期刚刚爆发的时候出租车订单量急剧减少，而平均出行里程增大，说明大家减少了很多不å¿
…要的短距离出行，或者采用出租车以外的更安å…
¨çš„交通方式进行了短距离出行。对比三种数据的曲线变化，可以看到疫æƒ
…严重程度和人们的出行情况表现出很高的相关性，疫情
严重时出租车订单量减少，平均出行里程攀升，然后疫情
好转，出租车订å
 •é‡å¢žå¤§ï¼Œå¹³å‡å‡ºè¡Œé‡Œç¨‹å›žè½ã€‚&lt;/p&gt;
+
+&lt;h3 id=&quot;excel-&quot;&gt;通过 Excel 进行数据分析&lt;/h3&gt;
+
+&lt;p&gt;有了 &lt;code class=&quot;highlighter-rouge&quot;&gt;MDX for 
Kylin&lt;/code&gt; 的帮助，我们在 Excel 中也可以连接 Kylin 
进行大数据分析。这次测试中，我们使用本地 windows 
机器上的 Excel 连接 MDX for Kylin 进行演示。&lt;/p&gt;
+
+&lt;p&gt;1.打开 Excel，选择 数据 -&amp;gt; 获取数据 -&amp;gt; 
来自数据库 -&amp;gt; 自 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;Analysis 
Services&lt;/code&gt;：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/30_excel_connect.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;2.在数据连接向导中填写MDX for Kylin 
连接信息，服务器名称为 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;http://${kylin_node_public_ip}:7080/mdx/xmla/covid_trip_project&lt;/code&gt;：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/31_excel_server.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/32_tableau_dataset.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;3.然后为当前的数据连接创建数据透视表，在数据透视表字段中，我们可以看到，在
 Excel 中连接 &lt;code class=&quot;highlighter-rouge&quot;&gt;MDX for 
Kylin&lt;/code&gt; 中的 dataset 获取数据信息，可以与 Tableau 
保持完全一致，无论分析人员是在 Tableau 还是 Excel 
中进行分析，都是在一致的数据模型、维度和业务指æ 
‡çš„基础上，达到统一语义的效果。&lt;/p&gt;
+
+&lt;p&gt;4.在 Tableau 中我们对 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;covid19&lt;/code&gt; 和 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;newyork_trip_data&lt;/code&gt; 
两个数据集进行了疫情地图绘制和趋势分析。在 Excel 
中对于同æ 
·çš„数据集和数据场景，我们可以查看更多的明细数据。&lt;/p&gt;
+
+&lt;ul&gt;
+  &lt;li&gt;对于疫情数据，为数据透视表选取地区层级字段 
&lt;code 
class=&quot;highlighter-rouge&quot;&gt;REGION_HIERARCHY&lt;/code&gt;，以及事å
…ˆå®šä¹‰å¥½çš„新增病例数总和 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;SUM_NEW_POSITIVE_CASES&lt;/code&gt; 
和病死率指标 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;CFR_COVID19&lt;/code&gt;：&lt;/li&gt;
+&lt;/ul&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/33_tableau_covid19_1.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;由于地区层级的最上层为 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;CONTINENT_NAME&lt;/code&gt;，所以默认展示洲级别的确诊人数和ç—
…死率，可以看到确诊人数最多的洲是欧洲，病
死率最高的是非洲。在这张
数据透视表中我们可以方便的下钻到更下层的地区级别查看更细粒度的明细数据，比如查看亚洲国家的疫æƒ
…数据，并根据确诊人数进行降序排序：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/34_excel_covid20_2.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;数据显示，亚洲国家中确诊人数排名前三的国家分别是印度、土耳å
…¶å’Œä¼Šæœ—。&lt;/p&gt;
+
+&lt;ul&gt;
+  &lt;li&gt;对于纽约市出租车订单数据，针对 “疫情
对于出租车订单数量有无明显影响” 的问题，首å…
ˆä»Žå¹´ä»½çš„维度上查看出租车订单数量的年累计和增速，新建透视表选择时间层级维度
 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;TIME_HIERARCHY&lt;/code&gt;、&lt;code 
class=&quot;highlighter-rouge&quot;&gt;YOY_ORDER_COUNT&lt;/code&gt; 和 
&lt;code 
class=&quot;highlighter-rouge&quot;&gt;YTD_ORDER_COUNT&lt;/code&gt;：&lt;/li&gt;
+&lt;/ul&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/35_excel_taxi_1.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;可以看到，2020 年疫情
爆发导致出租车订单数量急剧减少，2020年订单量增速为 
-0.7079，减少了 70% 的出行订单，2021 
年订单量增速仍为负数，但是相比 2020 年疫情
初期订单量减少速度放缓了许多。&lt;/p&gt;
+
+&lt;p&gt;展开时间层级，可以查看季度级别、月级别直到天级别的订单累计值，选择
 &lt;code class=&quot;highlighter-rouge&quot;&gt;MOM_ORDER_COUNT&lt;/code&gt; 
和 &lt;code class=&quot;highlighter-rouge&quot;&gt;ORDER_COUNT&lt;/code&gt; 
到透视表中还可以同时查看月度订单增速以及各个时间层级的订单数量：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/36_excel_taxi_2.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;2020 年 3 月份，订单增速为 
-0.52，出租车订单已经出现明显减少，4 月份更是跌至 
-0.92，减少了 90% 的订单，后期开始慢æ…
¢å¢žé•¿ï¼Œä½†æ˜¯ä¹Ÿå§‹ç»ˆè¿œä½ŽäºŽç–«æƒ…之前的数量。&lt;/p&gt;
+
+&lt;h3 id=&quot;api--kylin-&quot;&gt;通过 API 集成 Kylin 
到数据分析平台&lt;/h3&gt;
+
+&lt;p&gt;除了 Excel、Tableau 这种商业 BI 工具，很多企业内
部会开发自己的数据分析平台，在这类自ç 
”数据分析平台上，用户仍然可以通过调用 API 的方式将 Kylin 
+ MDX for Kylin 
作为分析平台的基础底座，保证统一的数据口径。在这次演示中，我们将展示如何通过
 Olap4j 向 MDX for Kylin 发送查询，获得分析结果，Olap4j 
是一个与 JDBC 驱动类似，能够访问任意 OLAP 服务的 Java 
库。&lt;/p&gt;
+
+&lt;p&gt;我们提供了一个简单的 demo 
可以方便用户直接进行测试，源码位于 &lt;a 
href=&quot;https://github.com/apache/kylin/tree/mdx-query-demo&quot;&gt;mdx 
query demo&lt;/a&gt;：&lt;/p&gt;
+
+&lt;p&gt;1.下载 demo 演示相关 jar 包:&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;wget 
https://s3.cn-north-1.amazonaws.com.cn/public.kyligence.io/kylin/kylin_demo/mdx_query_demo.tgz
+tar -xvf mdx_query_demo.tgz
+cd mdx_query_demo
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;2.运行 demo&lt;/p&gt;
+
+&lt;p&gt;运行 demo 之前保证运行环境安装了 java8：&lt;/p&gt;
+
+&lt;p&gt;&lt;img src=&quot;/images/blog/kylin4_on_cloud/37_jdk_8.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;运行 demo 需要两个参数，mdx 节点的 ip 和 需要运行的 
mdx 查询，端口默认为 7080，这里的 mdx 节点 ip 就是 kylin 
节点的 public ip：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;java -cp 
olap4j-xmla-1.2.0.jar:olap4j-1.2.0.jar:xercesImpl-2.9.1.jar:mdx-query-demo-0.0.1.jar
 io.kyligence.mdxquerydemo.MdxQueryDemoApplication 
&quot;${kylin_node_public_ip}&quot; &quot;${mdx_query}&quot;
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;如果用户在运行 demo 时没有通过命令行输å…
¥éœ€è¦æ‰§è¡Œçš„ mdx 语句，则会默认执行以下 mdx 
语句统计从出发街区的维度上各个街区的订单数量和平均里程：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;SELECT
+{[Measures].[ORDER_COUNT],
+[Measures].[trip_mean_distance]}
+DIMENSION PROPERTIES [MEMBER_UNIQUE_NAME],[MEMBER_ORDINAL],[MEMBER_CAPTION] ON 
COLUMNS,
+NON EMPTY [PICKUP_NEWYORK_ZONE].[BOROUGH].[BOROUGH].AllMembers
+DIMENSION PROPERTIES [MEMBER_UNIQUE_NAME],[MEMBER_ORDINAL],[MEMBER_CAPTION] ON 
ROWS
+FROM [covid_trip_dataset]
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;在这次演示中我们直接执行默认查询，执行成功之后，经过简单处理的查询结果会输出到命令行：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/38_demo_result.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;可以看到，运行 Demo 
之后成功获得了需要查询的数据，数据结果显示，从 Manhattan 
出发的出租车订单数量最多，订单平均里程只有大约 2.4 
英里，符合 Manhattan 地理面积小且人口稠密的特点；而从 
Bronx 的订单平均里程达到 33 英里，成倍的高于å…
¶ä»–任何街区，可能是由于 Bronx 地处偏僻的缘故。&lt;/p&gt;
+
+&lt;p&gt;与 Tableau 和 Excel 相同，在 Demo 中编写的 mdx 
语言中可以直接使用在 Kylin 以及 MDX for Kylin 中定义的指æ 
‡ã€‚在企业自ç 
”数据分析平台中，用户可以对查询返回的数据结果进行进一步分析，æ
 ¹æ®å±•ç¤ºéœ€æ±‚生成报表。&lt;/p&gt;
+
+&lt;h3 id=&quot;section-3&quot;&gt;统一的数据口径&lt;/h3&gt;
+
+&lt;p&gt;通过以三种不同的数据分析方式连接 Kylin + MDX for 
Kylin 进行数据分析展示，我们可以发现，借助 Kylin 
多维数据库和 MDX for Kylin 语义层功能，无
论用户在业务场景中使用哪种方式分析数据，都可以使用相同的数据模型和业务指æ
 ‡ï¼Œè¾¾åˆ°ç»Ÿä¸€æ•°æ®å£å¾„的目的。&lt;/p&gt;
+
+&lt;h2 id=&quot;section-4&quot;&gt;销毁集群&lt;/h2&gt;
+
+&lt;h3 id=&quot;section-5&quot;&gt;销毁查询集群&lt;/h3&gt;
+
+&lt;p&gt;在上述分析完成之后，我们可以执行集群销毁命令来销毁查询集群。如果用户希望同时销毁
 Kylin 以及 MDX for Kylin 的元数据库 RDS、监控节点以及 
VPC，那么可以执行集群销毁命令：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;python deploy.py --type destroy-all
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;h3 id=&quot;aws-&quot;&gt;检查 AWS 资源&lt;/h3&gt;
+
+&lt;p&gt;在销毁所有集群资源后，&lt;code 
class=&quot;highlighter-rouge&quot;&gt;CloudFormation&lt;/code&gt; 
中不会保留与部署工具相关的任何 Stack。如果用户想要删除 
S3 中与部署工具相关的文件以及数据，可以手动删除 S3 
工作目录下的以下文件夹：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/39_check_s3_demo.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;h2 id=&quot;section-6&quot;&gt;总结&lt;/h2&gt;
+
+&lt;p&gt;通过这次演示教程，只需要一个 AWS 
账号，用户就可以使用云上部署工具，借助于 Kylin 
的预计算技术和多维模型，以及MDX for Kylin 的基础指æ 
‡ç®¡ç†ï¼Œå¿«é€Ÿä¸”方便的搭建基于 Kylin + MDX for Kylin 
的云上大数据分析平台，对接各种 BI å·¥å…
·è¿›è¡ŒæŠ€æœ¯éªŒè¯ï¼Œè¾¾åˆ°é™æœ¬å¢žæ•ˆã€ç»Ÿä¸€æ•°æ®å£å¾„的目的。&lt;/p&gt;
+
+</description>
+        <pubDate>Wed, 20 Apr 2022 04:00:00 -0700</pubDate>
+        
<link>http://kylin.apache.org/cn_blog/2022/04/20/kylin4-on-cloud-part2/</link>
+        <guid 
isPermaLink="true">http://kylin.apache.org/cn_blog/2022/04/20/kylin4-on-cloud-part2/</guid>
+        
+        
+        <category>cn_blog</category>
+        
+      </item>
+    
+      <item>
+        <title>Kylin on Cloud —— 
两小时快速搭建云上数据分析平台(上)</title>
+        <description>&lt;h2 id=&quot;section&quot;&gt;背景&lt;/h2&gt;
+
+&lt;p&gt;Apache Kylin 
是基于预计算和多维模型的多维数据库，支持 SQL æ 
‡å‡†æŸ¥è¯¢æŽ¥å£ï¼Œåœ¨ Kylin 中用户可以通过创建 Model 定义表å…
³ç³»ï¼Œé€šè¿‡åˆ›å»º Cube 定义维度和度量，然后构建 Cube 
对需要聚合的数据进行预计算，将预计算好的数据保存起来，用户执行查询时便可以直接在经过预计算的数据上进行进一步的聚合或è€
…直接返回查询结果，成倍提升查询效率。&lt;/p&gt;
+
+&lt;p&gt;随着 Kylin 4.0 新架构的版本发布与更新，Kylin å…
·å¤‡äº†åœ¨è„±ç¦» Hadoop 
的云环境下进行集群部署的能力；为了使用户能够轻松地在云上部署
 Kylin，Kylin 社区又于近日开发了云上部署工å…
·ï¼Œç”¨æˆ·ä½¿ç”¨éƒ¨ç½²å·¥å…
·åªéœ€æ‰§è¡Œä¸€è¡Œå‘½ä»¤ä¾¿å¯ä»¥å¾—到一个完备的 kylin 
集群，获得高效快速的分析体验；2022 年1月份，Kylin 
社区发布了 mdx for kylin 来加强 Kylin 
作为多维数据库的业务表达能力，MDX for Kylin 提供了 MDX 
的查询接口，mdx for kylin 可以�
 �œ¨ Kylin 
已经定义好的多维模型的基础上更进一步的创建业务指æ 
‡ï¼Œå°† Kylin 
中的数据模型转换为业务友好的语言，赋予数据业务价值，方便对接
 Excel、Tableau 等 BI 工具进行多维分析。&lt;/p&gt;
+
+&lt;p&gt;基于以上一系列的技术支撑，用户不仅
可以方便快捷的在云上部署 Kylin 
集群，创建多维模型，体验经过预计算的快速查询响应，还能够结合
 MDX for Kylin 对业务指标进行定义和管理，将 DW 
技术层提升到业务语义层。&lt;/p&gt;
+
+&lt;p&gt;用户可以在 Kylin + MDX for Kylin 之上直接对接 BI å·¥å…
·è¿›è¡Œå¤šç»´æ•°æ®åˆ†æžï¼Œä¹Ÿå¯ä»¥ä»¥æ­¤ä¸ºåº•åº§å»ºè®¾æŒ‡æ 
‡å¹³å°ç­‰å¤æ‚应用。相比于直接基于 Spark、Hive 
等在运行时进行 Join 和聚合查询的计算引擎之上构建指æ 
‡å¹³å°ï¼Œåˆ©ç”¨ Kylin 可以依托于多维模型和预计算技术，以及 
mdx for kylin 的语义层能力，满足指æ 
‡å¹³å°æ‰€éœ€è¦çš„海量数据计算、极速查询响应、统一的多维模型、对接多种
 BI、基础的业务指标管理等多种关�
 �”®åŠŸèƒ½ã€‚&lt;/p&gt;
+
+&lt;p&gt;本文的以下部分将会带领读者
，从一个数据工程师的角度，快速体验在云上搭建基于 Kylin 
的数据分析平台（Kylin on 
Cloud），在亿行级数据之上获得高性能低成本的查询体验，并通过
 mdx for kylin 管理业务指标，直接对接 BI å·¥å…
·å¿«é€Ÿç”ŸæˆæŠ¥è¡¨ã€‚&lt;/p&gt;
+
+&lt;p&gt;本教程每一个步骤都有详细说明，并附有é…
å›¾å’Œæ£€æŸ¥ç‚¹ï¼Œå¸®åŠ©æ–°æ‰‹ä¸Šè·¯ã€‚读者只需要准备一个 AWS 
账号，预计这个过程需要大约 2 小时，花费 ￥100 
左右。&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/0_deploy_kylin.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;h2 id=&quot;section-1&quot;&gt;业务场景&lt;/h2&gt;
+
+&lt;p&gt;自 2020 年初以来 COVID-19 在全世界范围内快速传
播，对人们的衣食住行尤其是出行习惯造
成极大影响。这次数据分析结合 COVID-19 疫情数据和 2018 
年以来纽约出租车出行数据，通过分析疫情指æ 
‡å’Œå„种出行指标，比如确诊人数、病
死率、出租车订单数、平均出行距离等，来洞察纽约市出租车行业受疫æƒ
…影响的变化趋势，以支撑决策。&lt;/p&gt;
+
+&lt;h3 id=&quot;section-2&quot;&gt;业务问题&lt;/h3&gt;
+
+&lt;ul&gt;
+  &lt;li&gt;多指标联合分析各个国家地区疫情
严重程度&lt;/li&gt;
+  &lt;li&gt;纽约市各个街区出行指æ 
‡å¯¹æ¯”，比如订单数数量、出行里程等&lt;/li&gt;
+  &lt;li&gt;疫情对于出租车订单数量有无明显影响&lt;/li&gt;
+  &lt;li&gt;疫情之后的出行习
惯变化，更偏向远程出行还是近程&lt;/li&gt;
+  &lt;li&gt;疫情严重程度与出租车出行次数是否强相å…
³&lt;/li&gt;
+&lt;/ul&gt;
+
+&lt;h3 id=&quot;section-3&quot;&gt;数据集&lt;/h3&gt;
+
+&lt;h4 id=&quot;covid-19-&quot;&gt;COVID-19 数据集&lt;/h4&gt;
+
+&lt;p&gt;COVID-19 数据集包括一张事实表 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;covid_19_activity&lt;/code&gt; 和一张
维度表 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;lookup_calendar&lt;/code&gt;。&lt;/p&gt;
+
+&lt;p&gt;其中，&lt;code 
class=&quot;highlighter-rouge&quot;&gt;covid_19_activity&lt;/code&gt; 
记录每一天全球范围内不同地区的确诊和死亡数字；&lt;code 
class=&quot;highlighter-rouge&quot;&gt;lookup_calendar&lt;/code&gt; 
为日期维度表，保存了时间的扩展信息，比如每一个日期对应的年始、月始等，&lt;code
 class=&quot;highlighter-rouge&quot;&gt;covid_19_activity&lt;/code&gt; 和 
&lt;code class=&quot;highlighter-rouge&quot;&gt;lookup_calendar&lt;/code&gt; 
之间通过日期进行关联。&lt;/p&gt;
+
+&lt;p&gt;COVID-19 数据集相关信息如下:&lt;/p&gt;
+
+&lt;table&gt;
+  &lt;tbody&gt;
+    &lt;tr&gt;
+      &lt;td&gt;数据大小&lt;/td&gt;
+      &lt;td&gt;235 MB&lt;/td&gt;
+    &lt;/tr&gt;
+    &lt;tr&gt;
+      &lt;td&gt;事实表数据行数&lt;/td&gt;
+      &lt;td&gt;2,753,688&lt;/td&gt;
+    &lt;/tr&gt;
+    &lt;tr&gt;
+      &lt;td&gt;数据日期&lt;/td&gt;
+      &lt;td&gt;2020-01-21~2022-03-07&lt;/td&gt;
+    &lt;/tr&gt;
+    &lt;tr&gt;
+      &lt;td&gt;数据集提供方下载地址&lt;/td&gt;
+      
&lt;td&gt;https://data.world/covid-19-data-resource-hub/covid-19-case-counts/workspace/file?filename=COVID-19+Activity.csv&lt;/td&gt;
+    &lt;/tr&gt;
+    &lt;tr&gt;
+      &lt;td&gt;数据集 S3 地址&lt;/td&gt;
+      
&lt;td&gt;s3://public.kyligence.io/kylin/kylin_demo/data/covid19_data/&lt;/td&gt;
+    &lt;/tr&gt;
+  &lt;/tbody&gt;
+&lt;/table&gt;
+
+&lt;h4 id=&quot;section-4&quot;&gt;纽约市出租车订单数据集&lt;/h4&gt;
+
+&lt;p&gt;纽约市出租车订单数据集包括一张事实表 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;taxi_trip_records_view&lt;/code&gt; 
和两张维度表 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;newyork_zone&lt;/code&gt;、&lt;code 
class=&quot;highlighter-rouge&quot;&gt;lookup_calendar&lt;/code&gt;。&lt;/p&gt;
+
+&lt;p&gt;其中，&lt;code 
class=&quot;highlighter-rouge&quot;&gt;taxi_trip_records_view&lt;/code&gt; 
中的一条记录对一次出租车出行，记录了出发地点 
ID、到达地点 ID、出行时长、订单金额、出行距离等；&lt;code 
class=&quot;highlighter-rouge&quot;&gt;newyork_zone&lt;/code&gt; 
记录了地点 ID 所对应的行政区等信息，&lt;code 
class=&quot;highlighter-rouge&quot;&gt;taxi_trip_records_view&lt;/code&gt; 
分别通过 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;PULocationID&lt;/code&gt; 和 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;DOLocationID&lt;/code&gt; 两个列与 
&lt;code class=&quot;highlighter-rouge&quot;&gt;newyork_zone&lt;/code&gt; 
建立关联关系，统计出发街区�
 �’Œåˆ°è¾¾è¡—区信息；&lt;code 
class=&quot;highlighter-rouge&quot;&gt;lookup_calendar&lt;/code&gt; 与 
&lt;code class=&quot;highlighter-rouge&quot;&gt;COVID-19&lt;/code&gt; 
数据集中的维度表为同一张表，&lt;code 
class=&quot;highlighter-rouge&quot;&gt;taxi_trip_records_view&lt;/code&gt; 与 
&lt;code class=&quot;highlighter-rouge&quot;&gt;lookup_calendar&lt;/code&gt; 
通过日期进行关联。&lt;/p&gt;
+
+&lt;p&gt;纽约市出租车订单数据集相关信息如下：&lt;/p&gt;
+
+&lt;table&gt;
+  &lt;tbody&gt;
+    &lt;tr&gt;
+      &lt;td&gt;数据大小&lt;/td&gt;
+      &lt;td&gt;19 G&lt;/td&gt;
+    &lt;/tr&gt;
+    &lt;tr&gt;
+      &lt;td&gt;事实表数据行数&lt;/td&gt;
+      &lt;td&gt;226,849,274&lt;/td&gt;
+    &lt;/tr&gt;
+    &lt;tr&gt;
+      &lt;td&gt;数据日期&lt;/td&gt;
+      &lt;td&gt;2018-01-01~2021-07-31&lt;/td&gt;
+    &lt;/tr&gt;
+    &lt;tr&gt;
+      &lt;td&gt;数据集提供方下载地址&lt;/td&gt;
+      
&lt;td&gt;https://www1.nyc.gov/site/tlc/about/tlc-trip-record-data.page&lt;/td&gt;
+    &lt;/tr&gt;
+    &lt;tr&gt;
+      &lt;td&gt;数据集 S3 地址&lt;/td&gt;
+      
&lt;td&gt;s3://public.kyligence.io/kylin/kylin_demo/data/trip_data_2018-2021/&lt;/td&gt;
+    &lt;/tr&gt;
+  &lt;/tbody&gt;
+&lt;/table&gt;
+
+&lt;h4 id=&quot;er-&quot;&gt;ER 关系图&lt;/h4&gt;
+
+&lt;p&gt;新冠疫情数据集和纽约市出租车订单数据集的 ER å…
³ç³»å›¾å¦‚下图所示：&lt;/p&gt;
+
+&lt;p&gt;&lt;img src=&quot;/images/blog/kylin4_on_cloud/1_table_ER.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;h3 id=&quot;section-5&quot;&gt;指标设计&lt;/h3&gt;
+
+&lt;p&gt;针对需要分析的业务场景和业务问题，我们设计了以下原子指æ
 ‡å’Œä¸šåŠ¡æŒ‡æ ‡ï¼š&lt;/p&gt;
+
+&lt;h6 id=&quot;section-6&quot;&gt;1.原子指标&lt;/h6&gt;
+
+&lt;p&gt;原子指标指的是在 Kylin Cube 
中创建的各种度量，它们通常是在单一列上面进行聚合计算，相对比较简单。&lt;/p&gt;
+
+&lt;ul&gt;
+  &lt;li&gt;Covid19 病例数 
sum(covid_19_activity.people_positive_cases_count)&lt;/li&gt;
+  &lt;li&gt;Covid19 病死数 sum(covid_19_activity. 
people_death_count)&lt;/li&gt;
+  &lt;li&gt;新增 Covid19 病例数 sum(covid_19_activity. 
people_positive_new_cases_count)&lt;/li&gt;
+  &lt;li&gt;新增 Covid19 病死数 sum(covid_19_activity. 
people_death_new_count)&lt;/li&gt;
+  &lt;li&gt;出租车出行里程 sum(taxi_trip_records_view. 
trip_distance)&lt;/li&gt;
+  &lt;li&gt;出租车订单交易额 sum(taxi_trip_records_view. 
total_amount)&lt;/li&gt;
+  &lt;li&gt;出租车出行数量 count()&lt;/li&gt;
+  &lt;li&gt;出租车出行时长 
sum(taxi_trip_records_view.trip_time_hour)&lt;/li&gt;
+&lt;/ul&gt;
+
+&lt;h6 id=&quot;section-7&quot;&gt;2.业务指标&lt;/h6&gt;
+
+&lt;p&gt;业务指标是指基于原子指标定义的各种复合运算，å…
·æœ‰å…·ä½“的业务含义。&lt;/p&gt;
+
+&lt;ul&gt;
+  &lt;li&gt;各原子指标的月累计MTD、年累计YTD&lt;/li&gt;
+  &lt;li&gt;各原子指标的月增速MOM、年增速YOY&lt;/li&gt;
+  &lt;li&gt;Covid19 病死率：死亡人数/确诊人数&lt;/li&gt;
+  
&lt;li&gt;出租车平均出行速度：出租车出行里程/出租车出行时间&lt;/li&gt;
+  
&lt;li&gt;出租车出行平均里程：出租车出行里程/出租车出行数量&lt;/li&gt;
+&lt;/ul&gt;
+
+&lt;h2 id=&quot;section-8&quot;&gt;操作步骤概览&lt;/h2&gt;
+
+&lt;p&gt;搭建基于 Apache Kylin 
的云上数据分析平台并进行数据分析的主要操作步骤如下图：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/2_step_overview.jpg&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;h2 id=&quot;section-9&quot;&gt;集群架构&lt;/h2&gt;
+
+&lt;p&gt;使用云上部署工具部署出的 Kylin 
集群架构如图所示：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/3_kylin_cluster.jpg&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;h2 id=&quot;kylin-on-cloud-&quot;&gt;Kylin on Cloud 部署&lt;/h2&gt;
+
+&lt;h3 id=&quot;section-10&quot;&gt;环境要求&lt;/h3&gt;
+
+&lt;ul&gt;
+  &lt;li&gt;需要本地机器已安装 git，用于下载部署工具代ç 
ï¼›&lt;/li&gt;
+  &lt;li&gt;需要本地机器已安装 Python 3.6.6 
及以上版本，用于运行部署工具。&lt;/li&gt;
+&lt;/ul&gt;
+
+&lt;h3 id=&quot;aws-&quot;&gt;AWS 权限检查与初始化&lt;/h3&gt;
+
+&lt;p&gt;登录 AWS 账号，根据 &lt;a 
href=&quot;https://github.com/apache/kylin/blob/kylin4_on_cloud/readme/prerequisites.md&quot;&gt;准备文档&lt;/a&gt;
 来检查用户权限、创建部署工具需要的 Access Key、IAM 
Role、Key Pair 和 S3 工作目录。后续的 AWS 
操作都会以这个帐号的身份执行。&lt;/p&gt;
+
+&lt;h3 id=&quot;section-11&quot;&gt;配置部署工具&lt;/h3&gt;
+
+&lt;p&gt;1.执行下面的命令获得 Kylin on AWS 部署工具的代ç 
&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;git clone -b kylin4_on_cloud 
--single-branch https://github.com/apache/kylin.git &lt;span 
class=&quot;o&quot;&gt;&amp;amp;&amp;amp;&lt;/span&gt; &lt;span 
class=&quot;nb&quot;&gt;cd &lt;/span&gt;kylin
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;2.在本地机器初始化 python 虚拟环境&lt;/p&gt;
+
+&lt;p&gt;检查 python 环境，需要 Python 3.6.6 以上：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;python --version
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;初始化 python 虚拟环境，安装依赖：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;bin/init.sh
+&lt;span class=&quot;nb&quot;&gt;source &lt;/span&gt;venv/bin/activate
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;3.修改配置文件 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;kylin_configs.yaml&lt;/code&gt;&lt;/p&gt;
+
+&lt;p&gt;打开部署工具代码中的 kylin_configs.yaml，将文件中的é…
ç½®é¡¹æ›¿æ¢ä¸ºå®žé™…值：&lt;/p&gt;
+
+&lt;ul&gt;
+  &lt;li&gt;&lt;code 
class=&quot;highlighter-rouge&quot;&gt;AWS_REGION&lt;/code&gt;: EC2 
节点位置 Region，默认为 cn-northwest-1&lt;/li&gt;
+  &lt;li&gt;&lt;code 
class=&quot;highlighter-rouge&quot;&gt;${IAM_ROLE_NAME}&lt;/code&gt;: 
提前创建的 IAM Role 名称，比如 kylin_deploy_role&lt;/li&gt;
+  &lt;li&gt;&lt;code 
class=&quot;highlighter-rouge&quot;&gt;${S3_URI}&lt;/code&gt;: 用于部署 
kylin 的 S3 工作目录，比如 s3://kylindemo/kylin_demo_dir/&lt;/li&gt;
+  &lt;li&gt;&lt;code 
class=&quot;highlighter-rouge&quot;&gt;${KEY_PAIR}&lt;/code&gt;: 
提前创建的 Key pairs 名字，比如 kylin_deploy_key&lt;/li&gt;
+  &lt;li&gt;&lt;code class=&quot;highlighter-rouge&quot;&gt;${Cidr 
Ip}&lt;/code&gt;: 允许访问 EC2 实例的 IP 地址范围，比如 
10.1.0.0/32，通常设为您的外网 IP 地址，确保创建的 EC2 
实例只有您能访问&lt;/li&gt;
+&lt;/ul&gt;
+
+&lt;p&gt;出于读写分离隔离构建和查询资源的考虑，在以下的步骤中会å
…ˆå¯åŠ¨ä¸€ä¸ªæž„建集群用于连接 Glue 建表、加
载数据源、提交构建任务进行预计算，然后销毁构建集群，保留å
…ƒæ•°æ®ï¼Œå¯åŠ¨å¸¦æœ‰ MDX for Kylin 的查询集群，用于创建业务指æ 
‡ã€è¿žæŽ¥ BI 工具执行查询，进行数据分析。Kylin on AWS 
集群使用 RDS 存储元数据，使用 S3 
存储构建后的数据，并且支持从 AWS Glue 中加载数据源，除了 
EC2 节点之外使用的资æ
 ºéƒ½æ˜¯æŒä¹…化的，不会随着节点的删
除而消失，所以在没有查询或者
构建任务时，用户可以随时销毁构建或查询集群，只要保留å…
ƒæ•°æ®ã€S3 工作目录即可。&lt;/p&gt;
+
+&lt;h3 id=&quot;kylin-&quot;&gt;Kylin 构建集群&lt;/h3&gt;
+
+&lt;h4 id=&quot;kylin--1&quot;&gt;启动 Kylin 构建集群&lt;/h4&gt;
+
+&lt;p&gt;1.通过如下命令启动构建集群。根据网络情
况不同，部署启动可能需要 15-30 分钟。&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;python deploy.py --type deploy 
--mode job
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;2.构建集群部署成功后，命令窗口可以看到如下输出：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/4_deploy_cluster_successfully.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;h4 id=&quot;aws--1&quot;&gt;检查 AWS 服务&lt;/h4&gt;
+
+&lt;p&gt;1.进入 AWS 控制台的  CloudFormation 界面，可以看到 Kylin 
部署工具一共起了 7 个 stack：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/5_check_aws_stacks.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;2.用户可以通过 AWS 控制台查看 EC2 
节点的详细信息，也可以在命令行界面使用如下命令列出所有
 EC2 节点的名字、私有 IP 和公有 IP：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;python deploy.py --type list
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/6_list_cluster_node.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;h4 id=&quot;spark-sql-&quot;&gt;体验 spark-sql 
原生查询速度&lt;/h4&gt;
+
+&lt;p&gt;为了直观的感受到预计算给查询性能带来的提升，在构建
 cube 之前，我们先在 spark-sql 
中体验原生的查询速度：&lt;/p&gt;
+
+&lt;p&gt;1.首先，我们通过 kylin 节点的公有 IP 登录到该 kylin 
所在的 EC2 机器，并切换到 root 用户，执行 ~/.bash_profile 
使提前设置的环境变量生效：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;ssh -i &lt;span 
class=&quot;s2&quot;&gt;&quot;&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;${&lt;/span&gt;&lt;span 
class=&quot;nv&quot;&gt;KEY_PAIR&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;}&lt;/span&gt;&lt;span 
class=&quot;s2&quot;&gt;&quot;&lt;/span&gt; ec2-user@&lt;span 
class=&quot;k&quot;&gt;${&lt;/span&gt;&lt;span 
class=&quot;nv&quot;&gt;kylin_node_public_ip&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;}&lt;/span&gt;
+sudo su
+&lt;span class=&quot;nb&quot;&gt;source&lt;/span&gt; ~/.bash_profile
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;2.然后进入 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;$SPARK_HOME&lt;/code&gt; 并修改é…
ç½®æ–‡ä»¶ &lt;code 
class=&quot;highlighter-rouge&quot;&gt;conf/spark-defaults.conf&lt;/code&gt;，将
 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;spark_master_node_private_ip&lt;/code&gt;
 修改为 spark master 节点的私有 IP：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span 
class=&quot;nb&quot;&gt;cd&lt;/span&gt; &lt;span 
class=&quot;nv&quot;&gt;$SPARK_HOME&lt;/span&gt;
+vim conf/spark-defaults.conf
+
+&lt;span class=&quot;c&quot;&gt;# 将 spark_master_node_private_ip 
替换为真实 spark master 节点的私有ip&lt;/span&gt;
+spark.master spark://spark_master_node_private_ip:7077
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;&lt;code 
class=&quot;highlighter-rouge&quot;&gt;spark-defaults.conf&lt;/code&gt; 中å…
³äºŽ driver 和 executor 的资源配置与 kylin 查询集群的资源é…
ç½®æ˜¯ä¸€è‡´çš„。&lt;/p&gt;
+
+&lt;p&gt;3.在 spark-sql 中建表&lt;/p&gt;
+
+&lt;p&gt;测试所用数据集的所有数据存放在位于 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;cn-north-1&lt;/code&gt; 和 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;us-east-1&lt;/code&gt; 地区的 S3 
bucket 中，如果你的 S3 bucket 位于 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;cn-north-1&lt;/code&gt; 或者 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;us-east-1&lt;/code&gt;，那么你
可以直接执行建表 sql；否则需要执行以下脚本复制数据到 
&lt;code class=&quot;highlighter-rouge&quot;&gt;kylin_configs.yaml&lt;/code&gt; 
中设置的 S3 工作目录下，并修改建表 sql：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c&quot;&gt;## 
AWS CN 用户&lt;/span&gt;
+aws s3 sync s3://public.kyligence.io/kylin/kylin_demo/data/ &lt;span 
class=&quot;k&quot;&gt;${&lt;/span&gt;&lt;span 
class=&quot;nv&quot;&gt;S3_DATA_DIR&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;}&lt;/span&gt; --region cn-north-1
+
+&lt;span class=&quot;c&quot;&gt;## AWS Global 用户&lt;/span&gt;
+aws s3 sync s3://public.kyligence.io/kylin/kylin_demo/data/ &lt;span 
class=&quot;k&quot;&gt;${&lt;/span&gt;&lt;span 
class=&quot;nv&quot;&gt;S3_DATA_DIR&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;}&lt;/span&gt; --region us-east-1
+
+&lt;span class=&quot;c&quot;&gt;# 修改建表 sql&lt;/span&gt;
+sed -i &lt;span 
class=&quot;s2&quot;&gt;&quot;s#s3://public.kyligence.io/kylin/kylin_demo/data/#&lt;/span&gt;&lt;span
 class=&quot;k&quot;&gt;${&lt;/span&gt;&lt;span 
class=&quot;nv&quot;&gt;S3_DATA_DIR&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;}&lt;/span&gt;&lt;span 
class=&quot;s2&quot;&gt;#g&quot;&lt;/span&gt; 
/home/ec2-user/kylin_demo/create_kylin_demo_table.sql
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;执行建表 sql：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;bin/spark-sql -f 
/home/ec2-user/kylin_demo/create_kylin_demo_table.sql
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;4.在 spark-sql 中执行查询&lt;/p&gt;
+
+&lt;p&gt;进入 spark-sql：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;bin/spark-sql
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;在 spark-sql 中执行查询：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span 
class=&quot;n&quot;&gt;use&lt;/span&gt; &lt;span 
class=&quot;n&quot;&gt;kylin_demo&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;;&lt;/span&gt;
+&lt;span class=&quot;k&quot;&gt;select&lt;/span&gt; &lt;span 
class=&quot;n&quot;&gt;TAXI_TRIP_RECORDS_VIEW&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span 
class=&quot;n&quot;&gt;PICKUP_DATE&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span 
class=&quot;n&quot;&gt;NEWYORK_ZONE&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span 
class=&quot;n&quot;&gt;BOROUGH&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span 
class=&quot;k&quot;&gt;count&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span 
class=&quot;o&quot;&gt;*&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span 
class=&quot;k&quot;&gt;sum&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span 
class=&quot;n&quot;&gt;TAXI_TRIP_RECORDS_VIEW&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span 
class=&quot;n&quot;&gt;TRIP_TIME_HOUR&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;k&
 quot;&gt;sum&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span 
class=&quot;n&quot;&gt;TAXI_TRIP_RECORDS_VIEW&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span 
class=&quot;n&quot;&gt;TOTAL_AMOUNT&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;)&lt;/span&gt;
+&lt;span class=&quot;k&quot;&gt;from&lt;/span&gt; &lt;span 
class=&quot;n&quot;&gt;TAXI_TRIP_RECORDS_VIEW&lt;/span&gt;
+&lt;span class=&quot;k&quot;&gt;left&lt;/span&gt; &lt;span 
class=&quot;k&quot;&gt;join&lt;/span&gt; &lt;span 
class=&quot;n&quot;&gt;NEWYORK_ZONE&lt;/span&gt;
+&lt;span class=&quot;k&quot;&gt;on&lt;/span&gt; &lt;span 
class=&quot;n&quot;&gt;TAXI_TRIP_RECORDS_VIEW&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span 
class=&quot;n&quot;&gt;PULOCATIONID&lt;/span&gt; &lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span 
class=&quot;n&quot;&gt;NEWYORK_ZONE&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span 
class=&quot;n&quot;&gt;LOCATIONID&lt;/span&gt;
+&lt;span class=&quot;k&quot;&gt;group&lt;/span&gt; &lt;span 
class=&quot;k&quot;&gt;by&lt;/span&gt; &lt;span 
class=&quot;n&quot;&gt;TAXI_TRIP_RECORDS_VIEW&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span 
class=&quot;n&quot;&gt;PICKUP_DATE&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span 
class=&quot;n&quot;&gt;NEWYORK_ZONE&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span 
class=&quot;n&quot;&gt;BOROUGH&lt;/span&gt;&lt;span 
class=&quot;p&quot;&gt;;&lt;/span&gt;
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;然后可以看到，在资源与 kylin 查询集群配置相同的情
况下，使用 spark-sql 直接查询耗时超过100s：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/7_query_in_spark_sql.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;5.查询执行成功后必须退出 spark-sql 
再进行下面的步骤，防止占用资源。&lt;/p&gt;
+
+&lt;h4 id=&quot;kylin--2&quot;&gt;导入 Kylin 元数据&lt;/h4&gt;
+
+&lt;p&gt;1.进入 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;$KYLIN_HOME&lt;/code&gt;&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span 
class=&quot;nb&quot;&gt;cd&lt;/span&gt; &lt;span 
class=&quot;nv&quot;&gt;$KYLIN_HOME&lt;/span&gt;
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;2.导入元数据&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;bin/metastore.sh restore 
/home/ec2-user/meta_backups/
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;3.重载元数据&lt;/p&gt;
+
+&lt;p&gt;根据 EC2 节点的公有 IP，在浏览器输入 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;http://${kylin_node_public_ip}:7070/kylin&lt;/code&gt;
 进入 kylin web 页面，并使用 ADMIN/KYLIN 的默认用户名密ç 
ç™»å½•ï¼š&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/8_kylin_web_ui.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;通过 System -&amp;gt; Configuration -&amp;gt; Reload Metadata 
重载 Kylin 元数据:&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/9_reload_kylin_metadata.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;如果用户想要了解如何手动创建 Kylin 元数据中所包
含的 Model 和 Cube，可以参考：(Create model and cube in 
kylin)[https://cwiki.apache.org/confluence/display/KYLIN/Create+Model+and+Cube+in+Kylin]。&lt;/p&gt;
+
+&lt;h4 id=&quot;section-12&quot;&gt;执行构建&lt;/h4&gt;
+
+&lt;p&gt;提交 cube 构建任务，由于在 model 
中未设置分区列，所以这里直接对两个 cube 进行å…
¨é‡æž„建：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/10_full_build_cube.png.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/11_kylin_job_complete.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;h4 id=&quot;section-13&quot;&gt;销毁构建集群&lt;/h4&gt;
+
+&lt;p&gt;构建完成之后，执行集群销毁命令销毁构建集群，默认æƒ
…况下会保留 RDS stack、monitor stack 和 vpc stack：&lt;/p&gt;
+
+&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;python deploy.py --type destroy
+&lt;/code&gt;&lt;/pre&gt;
+&lt;/div&gt;
+
+&lt;p&gt;集群销毁成功：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/12_destroy_job_cluster.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;h4 id=&quot;aws--2&quot;&gt;检查 AWS 资源&lt;/h4&gt;
+
+&lt;p&gt;集群销毁成功后，可以到 AWS 控制台的 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;CloudFormation&lt;/code&gt; 
服务确认是否存在资源残留，由于默认会保留元数据 
RDS、监控节点和 VPC 节点，所以集群销毁后 CloudFormation 
页面还会存在以下三个 Stack：&lt;/p&gt;
+
+&lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_on_cloud/13_check_aws_stacks.png&quot; 
alt=&quot;&quot; /&gt;&lt;/p&gt;
+
+&lt;p&gt;下面启动查询集群时仍然会使用这三个 Stack 
中的资源，这æ 
·æˆ‘们可以保证查询集群和构建集群使用同一套å…
ƒæ•°æ®ã€‚&lt;/p&gt;
+
+&lt;p&gt;以上部分为 &lt;code class=&quot;highlighter-rouge&quot;&gt;Kylin 
on Cloud —— 两小时快速搭建云上数据分析平台&lt;/code&gt; 
的上篇，下篇请查看：&lt;a 
href=&quot;../kylin4-on-cloud-part2/&quot;&gt;Kylin on Cloud —— 
两小时快速搭建云上数据分析平台(下)&lt;/a&gt;&lt;/p&gt;
+
+</description>
+        <pubDate>Wed, 20 Apr 2022 04:00:00 -0700</pubDate>
+        
<link>http://kylin.apache.org/cn_blog/2022/04/20/kylin4-on-cloud-part1/</link>
+        <guid 
isPermaLink="true">http://kylin.apache.org/cn_blog/2022/04/20/kylin4-on-cloud-part1/</guid>
+        
+        
+        <category>cn_blog</category>
+        
+      </item>
+    
+      <item>
         <title>如何使用 Excel 查询 Kylin？MDX for Kylin！</title>
         <description>&lt;h2 id=&quot;kylin--mdx&quot;&gt;Kylin 为什么需要 
MDX？&lt;/h2&gt;
 
@@ -864,46 +1501,46 @@ CELL PROPERTIES VALUE, FORMAT_STRING, LA
       </item>
     
       <item>
-        <title>安排！Kylin 4 现已支持 AWS Glue Catalog</title>
-        <description>&lt;h2 id=&quot;emr--kylin--glue-&quot;&gt;为什么在 
EMR 部署 Kylin 需要支持 Glue ？&lt;/h2&gt;
+        <title>Kylin 4 now is supporting AWS Glue Catalog</title>
+        <description>&lt;h2 
id=&quot;why-does-installing-kylin-on-emr-need-to-support-aws-glue&quot;&gt;Why 
does installing Kylin on EMR need to support AWS Glue?&lt;/h2&gt;
 
-&lt;h3 id=&quot;aws-glue&quot;&gt;什么是 AWS Glue？&lt;/h3&gt;
+&lt;h3 id=&quot;what-is-aws-glue&quot;&gt;What is AWS Glue?&lt;/h3&gt;
 
-&lt;p&gt;AWS Glue 是一项完全托管的 ETL（提取、转换和加
载）服务，使 AWS 
用户能够轻松而经济高效地对数据进行分类、清理和扩充
，并在各种数据存储之间可靠地移动数据。AWS Glue 
由一个称为 AWS Glue 数据目录的中央å…
ƒæ•°æ®å­˜å‚¨åº“、一个自动生成代码的 ETL 
引擎以及一个处理依赖项解析、作业监控和重试的灵活计划程序组成。AWS
 Glue 是无服务器服务，因此无
需设置或管理基础设施。&lt;/p&gt;
+&lt;p&gt;AWS Glue is a fully hosted ETL (Extract, Transform, and Load) service 
that enables AWS users to easily and cost-effectively classify, cleanse, enrich 
data and move data between various data storages. AWS Glue consists of a 
central metastore called AWS Glue Data Catalog, an ETL engine that can 
automatically generate code and a flexible scheduler that can handle dependency 
resolution, monitor jobs and retry. AWS Glue is a serverless service, so there 
is no infrastructure to set up or manage.&lt;/p&gt;
 
-&lt;h3 id=&quot;kylin--aws-glue-catalog&quot;&gt;Kylin 为什么需要支持 
AWS Glue Catalog？&lt;/h3&gt;
+&lt;h3 id=&quot;why-does-kylin-need-aws-glue-catalog&quot;&gt;Why does Kylin 
need AWS Glue Catalog?&lt;/h3&gt;
 
-&lt;p&gt;目前社区有很多 Kylin 用户在使用 AWS EMR，组件主要包
括 Hadoop、Spark、Hive、Presto 等，如果没有配置使用 AWS Glue data 
Catalog，那么在各个数据仓库组件如 Hive、Spark、Presto 
建的数据表，在其它组件上是找不到的，也就不能使用，å…
¬å¸åº•å±‚的数据仓库是提供给各个业务部门来进行使用，为了解决这个问题，在创建
 AWS EMR 集群时就可以使用 AWS Glue data Catalog 来存储å…
ƒæ•°æ®ï¼Œå¯¹å„个组件共享数据源，对各个业务部门进行共享æ�
 
�°æ®æºï¼Œå°†å„个业务部门的数据构建成一个大的数据立方体，能够快速响应å
…¬å¸é«˜é€Ÿå‘展的业务需求。&lt;br /&gt;
-现代公司的数据都是基于云平台搭建，大数据团队使用的 
AWS EMR 来进行数据加
工、数据分析、以及模型训练，随着数据暴增带来提数æ…
¢ã€ææ•°éš¾ï¼ŒEMR/Spark/Hive 
很难满足数据分析师、运营人员、销售的快速查询数据的需求，于是一些用户选择了
 Apache Kylin 作为开源 OLAP 解决方案。&lt;br /&gt;
-但是最近社区用户联系到我们，告知 Kylin 4 还不支持从 Glue 
读取表å…
ƒæ•°æ®ï¼Œæ‰€ä»¥æˆ‘们和社区用户合作一起检查这里遇到的问题并最终解决了问题，从而使得
 Kylin 4 支持了 AWS Glue Catalog，这样带来的好处在于 
Hive、Presto、Spark、Kylin 中可以å…
±äº«è¡¨å’Œæ•°æ®ï¼Œä½¿å¾—每个主题都串联起来形成一个大的数据分析平台，打ç
 ´å…ƒæ•°æ®éšœç¢ã€‚&lt;/p&gt;
+&lt;p&gt;At present, many users in the Kylin community use AWS EMR for running 
large-scale distributed data processing jobs on Hadoop, Spark, Hive, Presto, 
etc. Without AWS Glue Data Catalog, tables built on these data warehouse 
components (like Hive, Spark and Presto) can not be used by any other 
components. As the data warehouse needs to answer requirements from various 
business departments, they use AWS Glue Data Catalog for metadata storage when 
creating the AWS EMR clusters, to share the data sources among different 
components and business departments. That is, to build one data cube with data 
from each business department, so they can provide quick responses to different 
business requirements.&lt;br /&gt;
+In modern companies, data is saved on cloud object storage and big data teams 
use AWS EMR for data processing, data analysis and model training. But with 
data explosion, it becomes really difficult to extract data and the response 
time is too long. In other words, the solution of EMR + Spark/Hive cannot meet 
the speedy data query requirements from data analysts, O&amp;amp;M personnel 
and sales. So some users turn to Apache Kylin as their open-source OLAP 
solution.&lt;br /&gt;
+Recently, our users approached us with the request that Kylin 4 could directly 
read table metadata from AWS Glue. After some collaboration, now Kylin 4 
supports AWS Glue Catalog, making it possible for tables and data to be shared 
among Hive, Presto, Spark and Kylin. This helps to break down the metadata 
barrier, so different topics can be combined to form a big data analysis 
platform.&lt;/p&gt;
 
-&lt;h3 id=&quot;apache-kylin--aws-glue-&quot;&gt;Apache Kylin 支持 AWS Glue 
吗？&lt;/h3&gt;
+&lt;h3 id=&quot;does-kylin-support-aws-glue&quot;&gt;Does Kylin support AWS 
Glue?&lt;/h3&gt;
 
 &lt;table&gt;
   &lt;thead&gt;
     &lt;tr&gt;
       &lt;th&gt; &lt;/th&gt;
-      &lt;th&gt;支持 Glue 的 Kylin 版本&lt;/th&gt;
+      &lt;th&gt;Kylin version which supports Glue&lt;/th&gt;
       &lt;th&gt;Issue Link&lt;/th&gt;
     &lt;/tr&gt;
   &lt;/thead&gt;
   &lt;tbody&gt;
     &lt;tr&gt;
       &lt;td&gt;Kylin on HBase (Before Kylin 4)&lt;/td&gt;
-      &lt;td&gt;2.6.6 or higher&lt;br /&gt; 3.1.0 or higher&lt;/td&gt;
+      &lt;td&gt;2.6.6 or higher&lt;br /&gt;3.1.0 or higher&lt;/td&gt;
       &lt;td&gt;https://issues.apache.org/jira/browse/KYLIN-4206&lt;br 
/&gt;https://zhuanlan.zhihu.com/p/99481373&lt;/td&gt;
     &lt;/tr&gt;
     &lt;tr&gt;
       &lt;td&gt;Kylin on Parquet&lt;/td&gt;
       &lt;td&gt;4.0.1 or higher&lt;/td&gt;
-      &lt;td&gt;本文。&lt;/td&gt;
+      &lt;td&gt;This article.&lt;/td&gt;
     &lt;/tr&gt;
   &lt;/tbody&gt;
 &lt;/table&gt;
 
-&lt;h2 id=&quot;section&quot;&gt;部署前准备&lt;/h2&gt;
+&lt;h2 id=&quot;prerequisites-for-deployment&quot;&gt;Prerequisites for 
deployment&lt;/h2&gt;
 
-&lt;h3 id=&quot;section-1&quot;&gt;软件信息一览&lt;/h3&gt;
+&lt;h3 id=&quot;software-version&quot;&gt;Software Version&lt;/h3&gt;
 
 &lt;table&gt;
   &lt;thead&gt;
@@ -917,27 +1554,27 @@ CELL PROPERTIES VALUE, FORMAT_STRING, LA
     &lt;tr&gt;
       &lt;td&gt;Apache Kylin&lt;/td&gt;
       &lt;td&gt;4.0.1 or higher&lt;/td&gt;
-      &lt;td&gt;必须是 4.0.1 以及上，详情参考 &lt;a 
href=&quot;https://cwiki.apache.org/confluence/display/KYLIN/KIP+10+refactor+hive+and+hadoop+dependency&quot;&gt;KIP
 10 refactor hive and hadoop dependency&lt;/a&gt;.&lt;/td&gt;
+      &lt;td&gt;&lt;a 
href=&quot;https://cwiki.apache.org/confluence/display/KYLIN/KIP+10+refactor+hive+and+hadoop+dependency&quot;&gt;KIP
 10 refactor hive and hadoop dependency&lt;/a&gt;.&lt;/td&gt;
     &lt;/tr&gt;
     &lt;tr&gt;
       &lt;td&gt;AWS EMR&lt;/td&gt;
       &lt;td&gt;6.5.0 or higher&lt;br /&gt;5.33.1 or higher&lt;/td&gt;
-      &lt;td&gt;覆盖EMR 6 / EMR 5 的较新版本，&lt;a 
href=&quot;https://docs.amazonaws.cn/en_us/emr/latest/ReleaseGuide/emr-650-release.html&quot;&gt;Amazon
 EMR release 6.5.0 - Amazon EMR&lt;/a&gt;.&lt;/td&gt;
+      &lt;td&gt;&lt;a 
href=&quot;https://docs.amazonaws.cn/en_us/emr/latest/ReleaseGuide/emr-650-release.html&quot;&gt;Amazon
 EMR release 6.5.0 - Amazon EMR&lt;/a&gt;.&lt;/td&gt;
     &lt;/tr&gt;
   &lt;/tbody&gt;
 &lt;/table&gt;
 
-&lt;h3 id=&quot;glue-&quot;&gt;准备 Glue 数据库和表&lt;/h3&gt;
+&lt;h3 id=&quot;prepare-aws-glue-database-and-tables&quot;&gt;Prepare AWS Glue 
database and tables&lt;/h3&gt;
 
 &lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_support_aws_glue/1_prepare_aws_glue_table_en.png&quot;
 alt=&quot;&quot; /&gt;&lt;/p&gt;
 
 &lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_support_aws_glue/2_prepare_aws_glue_table_en.png&quot;
 alt=&quot;&quot; /&gt;&lt;/p&gt;
 
 &lt;ul&gt;
-  &lt;li&gt;创建 AWS EMR 集群。&lt;/li&gt;
+  &lt;li&gt;Create an EMR cluster.&lt;/li&gt;
 &lt;/ul&gt;
 
-&lt;p&gt;这里启动一个 EMR 的集群，需要注意的是，这里通过é…
ç½® &lt;code 
class=&quot;highlighter-rouge&quot;&gt;hive.metastore.client.factory.class&lt;/code&gt;
 启动了 Glue 外部元数据。以下命令可以作为参考。&lt;/p&gt;
+&lt;p&gt;Note: Parameter hive.metastore.client.factory.class is configured to 
enable AWS Glue. For details, you may refer to the commands below.&lt;/p&gt;
 
 &lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;aws emr create-cluster 
--applications &lt;span class=&quot;nv&quot;&gt;Name&lt;/span&gt;&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;Hadoop &lt;span 
class=&quot;nv&quot;&gt;Name&lt;/span&gt;&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;Hive &lt;span 
class=&quot;nv&quot;&gt;Name&lt;/span&gt;&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;Spark &lt;span 
class=&quot;nv&quot;&gt;Name&lt;/span&gt;&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;ZooKeeper &lt;span 
class=&quot;nv&quot;&gt;Name&lt;/span&gt;&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;Tez &lt;span 
class=&quot;nv&quot;&gt;Name&lt;/span&gt;&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;Ganglia &lt;span 
class=&quot;se&quot;&gt;\&lt;/span&gt;
   --ec2-attributes &lt;span class=&quot;k&quot;&gt;${}&lt;/span&gt; &lt;span 
class=&quot;se&quot;&gt;\&lt;/span&gt;
@@ -955,35 +1592,35 @@ CELL PROPERTIES VALUE, FORMAT_STRING, LA
 &lt;/div&gt;
 
 &lt;ul&gt;
-  &lt;li&gt;登录 Master 节点，并且检查 Hadoop 版本 和 Hadoop 
集群是否启动成功。&lt;/li&gt;
+  &lt;li&gt;Log in to the Master node. Check the Hadoop version and whether 
the Hadoop cluster is successfully started.&lt;/li&gt;
 &lt;/ul&gt;
 
 &lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_support_aws_glue/3_prepare_hadoop_cluster_en.png&quot;
 alt=&quot;&quot; /&gt;&lt;/p&gt;
 
 &lt;p&gt;&lt;img 
src=&quot;/images/blog/kylin4_support_aws_glue/4_prepare_hadoop_cluster_en.png&quot;
 alt=&quot;&quot; /&gt;&lt;/p&gt;
 
-&lt;h3 id=&quot;optional&quot;&gt;获取环境信息（Optional）&lt;/h3&gt;
+&lt;h3 id=&quot;optionalget-environmental-information&quot;&gt;(Optional)Get 
environmental information&lt;/h3&gt;
 
 &lt;blockquote&gt;
-  &lt;p&gt;如果你使用 RDS 或者其他元数据存储，请酌情
跳过此步。&lt;/p&gt;
+  &lt;p&gt;If you are using RDS or other metadata storage, you may skip this 
step.&lt;/p&gt;
 &lt;/blockquote&gt;
 
-&lt;p&gt;由于 Kylin 4.X 推荐使用 RDBMS 作为å…
ƒæ•°æ®å­˜å‚¨ï¼Œå¤„于测试目的，这里使用 Master 节点自带的 
MariaDB 作为元数据存储；关于 MariaDB 的主机名称、账号、密ç 
ç­‰ä¿¡æ¯ï¼Œå¯ä»¥ä»Ž &lt;code 
class=&quot;highlighter-rouge&quot;&gt;/etc/hive/conf/hive-site.xml&lt;/code&gt;
 获取。&lt;/p&gt;
+&lt;p&gt;RDBMS is recommended for metastore in Kylin 4. So for testing 
purposes, in this article, we use MariaDB which comes with the Master node for 
metastore; for hostname, account and password of MariaDB, see &lt;code 
class=&quot;highlighter-rouge&quot;&gt;/etc/hive/conf/hive-site.xml&lt;/code&gt;.&lt;/p&gt;
 
 &lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;pre 
class=&quot;highlight&quot;&gt;&lt;code&gt;kylin.metadata.url&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;kylin4_on_cloud@jdbc,url&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;jdbc:mysql://&lt;span 
class=&quot;k&quot;&gt;${&lt;/span&gt;&lt;span 
class=&quot;nv&quot;&gt;HOSTNAME&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;}&lt;/span&gt;:3306/hue,username&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;hive,password&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;${&lt;/span&gt;&lt;span 
class=&quot;nv&quot;&gt;PASSWORD&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;}&lt;/span&gt;,maxActive&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;10,maxIdle&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;10,driverClassName&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;org.mariadb.jdbc.Driver  
 kylin.env.zookeeper-connect-string&lt;span 
class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;${&lt;/span&gt;&lt;span 
class=&quot;nv&quot;&gt;HOSTNAME&lt;/span&gt;&lt;span 
class=&quot;k&quot;&gt;}&lt;/span&gt;
 &lt;/code&gt;&lt;/pre&gt;
 &lt;/div&gt;
 
-&lt;p&gt;获取这些信息后，并且替换以上 Kylin é…
ç½®é¡¹é‡Œé¢çš„变量，如 &lt;code 
class=&quot;highlighter-rouge&quot;&gt;${PASSWORD}&lt;/code&gt;，保存到本地，供下一步启动
 Kylin 进程使用。&lt;/p&gt;
+&lt;p&gt;Configure the variables as per the actual information, for example, 
replace  ${PASSWORD} with the real password, save it locally and it will be 
used to start Kylin.&lt;/p&gt;
 
-&lt;h3 id=&quot;spark-sql--aws-glue-&quot;&gt;测试 Spark SQL 和 AWS Glue 
的连通性&lt;/h3&gt;
+&lt;h3 
id=&quot;test-the-connectivity-between-spark-sql-and-aws-glue&quot;&gt;Test the 
connectivity between Spark SQL and AWS Glue&lt;/h3&gt;
 

[... 987 lines stripped ...]