投稿
  1. 首页
  2. 随笔

黑马程序员《数据清洗》学习笔记第八章综合案例（1）

梅世强 • 2022-12-14 • 随笔 • 阅读 46

黑马程序员《数据清洗》学习笔记第八章综合案例（1）,第1张

黑马程序员《数据清洗》学习笔记第八章综合案例（1）

目录

第八章综合案例（1）

8.3.2 加载日期数据至日期维度表

1.打开Kettle工具，创建转换      

2.配置生成记录控件

3.配置增加序列控件

4.配置Javascript控件

5.配置表输出控件

6.运行转换load_dim_date

7.查看数据表dim_date中的数据

8.3.3 加载时间数据至日期维度表

1.打开Kettle工具，创建转换

2.配置生成记录控件

3.配置增加序列控件

4.配置Javascript代码控件

5.配置生成记录2控件

6.配置增加序列2控件

7.配置生成记录3控件

8.配置增加序列3控件

9.配置Javascript代码2控件

10.配置表输出控件

11.运行load_dim_time转换

12.查看数据表dim_time中的数据

8.3.4 加载员工数据至员工维度表

1.打开Kettle工具，创建转换

2.配置表输入控件

3.配置表输入2控件

4.配置字段选择控件

5.配置值映射控件

6.配置维度查询/更新控件

7.运行转换load_dim_staff

8.查看数据表dim_staff中的数据

第八章综合案例（1）

案例【8.3.2        8.3.3        8.3.4】

         需要从MySQL官网下载数据库sakila的建库脚本，若是在Windows环境下安装数据库sakila，下载名称为sakila_bd.zip的压缩包文件；若是在Linux环境下安装数据库sakila，下载名称为sakila_bd.tar.gz的压缩包。需要导入压缩包中的文件，下载MySQL关系型数据库，SQLyog工具。

8.3.2 加载日期数据至日期维度表 1.打开Kettle工具，创建转换      

        打开Kettle工具创建转换load_dim_date，并添加“生成记录”控件、“增加序列”控件、“Javascript代码”控件、“表输出”控件以及Hop跳连接线，如图8-1。

图 8-1

2.配置生成记录控件

        双击“生成记录”控件，进入“生成记录”配置界面；在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”框添加字段language（语言）、country_code（国家码）、initial_date（初始化的日期），对生成的日期进行初始化，单击“预览”查看预览数据，如图8-2。

 图 8-2

3.配置增加序列控件

        双击“增加序列”控件，进入“增加序列”配置界面，并在“值的名称”处将valuename改为DaySequence，即增加一列日期字段，后续用于改变“生成记录”控件生成的日期，如图8-3。

 图 8-3

4.配置Javascript控件

        双击“Javascript”控件，进入“Javascript”配置界面，勾选“兼容模式？”处的复选框，使得Javascript代码控件的兼容性更强；在Java script代码框中编写代码（代码参考教材如下）；单击【获取变量】按钮，将代码中定义的变量添加至字段框中；单击【确定】按钮，完成“Javascript代码”控件的配置，如图8-4。

//script here
//生成locale
var locale = new java.util.Locale(language.getString(),country_code.getString());
//生成Calendar
var calendar = new java.util.GregorianCalendar(locale);
//设置时间
calendar.setTime(initial_date.getDate());
//设置日历为当前日期
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger()-1);
//获取日期
var date = new java.util.Date(calendar.getTimeInMillis());
//生成短日期
var date_short = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,locale).format(date);
//生成中日期
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,locale).format(date);
//生成长日期
var date_long = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,locale).format(date);
//生成全日期
var date_full = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,locale).format(date);
//简单格式化
var simpleDateFormat = java.text.SimpleDateFormat("D",locale);
//天在年的第几天
var day_in_year = simpleDateFormat.format(date);
//建立格式器
simpleDateFormat.applyPattern("d");
//天在月的第几天
var day_in_month = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("EEEE");
//星期的名称
var day_name = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("E");
//星期的缩写
var day_abbreviation = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("ww");
//一年的第几周
var week_in_year = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("W");
//一月的第几周
var week_in_month = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MM");
//月份
var month_number = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MMMM");
//月的名称
var month_name = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MMM");
//月的缩写
var month_abbreviation = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("yy");
//两位的年
var year2 = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("yyyy");
//四位的年
var year4 = simpleDateFormat.format(date);

//季度名称
var quarter_name = "Q";
//季度
var quarter_number;
switch(parseInt(month_number)){
	case 1:case 2:case 3:quarter_number = "1";break;
	case 4:case 5:case 6:quarter_number = "2";break;
	case 7:case 8:case 9:quarter_number = "3";break;
	case 10:case 11:case 12:quarter_number = "4";break;
}
quarter_name += quarter_number;
//定义常量
var yes = "yes";
var no = "no";
//获取周的第一天
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;

//判断是否为周的第一天
var is_first_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
	is_first_day_in_week = yes;
}else{
	is_first_day_in_week = no;
}

//日历的下一天
calendar.add(calendar.DAY_OF_MONTH,1);
//获取下一天
var next_day = new java.util.Date(calendar.getTimeInMillis());
//判断是否周的最后一天
var is_last_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
	is_last_day_in_week = yes;
}else{
	is_last_day_in_week = no;
}
//判断是否为月的第一天
var is_first_day_in_month;
if(day_in_month == 1){
	is_first_day_in_month = yes;
}else{
	is_first_day_in_month = no;
}

//判断是否为月的最后一天
var is_last_day_in_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){
	is_last_day_in_month = yes;
}else{
	is_last_day_in_month = no;
}

//年_季度
var year_quarter = year4 + "-" + quarter_name;

//年_月份
var year_month_number = year4 + "-" + month_number;

//年_月缩写
var year_month_abbreviation = year4 + "-" + month_abbreviation;

//日期代理剑（唯一键）
var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;

图 8-4

5.配置表输出控件

        双击“表输出”控件，进入“表输出”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置如图8-5。

图 8-5 

        单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_date；勾选“指定数据库字段”的复选框，用于将维度表字段与Javascript控件流中的变量字段进行匹配，如图8-6。

图 8-6 

        点击”数据库字段“，进入数据库字段选择卡，单击【输入字段映射】按钮，d出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击【猜一猜】按钮，让Kettle自动实现映射，单击【确定】按钮，完成“表输出”控件的配置，如图8-7。

 图 8-7

6.运行转换load_dim_date

        单击转换工作区顶部的运行按钮，运行创建的转换load_dim_date，实现加载日期数据至日期维度表dim_date中，运行成功，如图8-8。

图 8-8 

7.查看数据表dim_date中的数据

        通过SQLyog工具，查看数据表dim_date是否已成功插入3650条日期数据，查看结果如图8-9。

 图 8-9

8.3.3 加载时间数据至日期维度表 1.打开Kettle工具，创建转换

        使用Kettle工具，创建一个转换load_dim_time，并添加生成记录控件、增加序列控件、Javascript代码控件、记录关联（笛卡尔输出）控件、表输出控件以及Hop跳连接线，具体如图8-10。

图 8-10

2.配置生成记录控件

        双击“生成记录”控件，进入“生成记录”配置界面，在“限制”处添加生成的时间，这里添加的是生成24小时数据，起始的时间为0；在“字段”框添加生成小时字段的相关信息，如图8-11。

图 8-11 

3.配置增加序列控件

        双击“增加序列”控件，进入“增加序列”配置界面，将“值的名称”处将valuename改为hours24，即增加一列小时字段，由于时间是由时分秒构成，因此我们需要生成时分秒字段的数据，这里生成24小时数据，后续步骤中会生成60分和60秒的数据，如图8-12。

图 8-12

4.配置Javascript代码控件

        双击“Javascript代码”控件，进入“Javascript代码”界面，勾选“兼容模式？”处的复选框，使得Javascript代码控件的兼容性更强；在Java script代码框中编写代码（代码参考教材如下）；单击【获取变量】按钮，将代码中定义的变量添加至字段框。Javascript代码控件的配置如图8-13。

//script here
//生成12小时格式
var hours12=hours24.getInteger()%12;
//生成AM。PM格式
var am_pm=hours24.getInteger()>12?"PM":"AM";

 图 8-13

5.配置生成记录2控件

          双击“生成记录2”控件，进入“生成记录”界面，在“限制”后的文本框添加60表示生成60条数据（60分钟从0分开始至59分结束共60条数据）；在“字段”框添加生成字段的名称、字段类型及默认值为0，如图8-14。

 图 8-14

6.配置增加序列2控件

        双击“增加序列2”控件，进入“增加序列2”界面，将“值的名称”处将valuename改为minutes，即增加一列分钟字段，用于记录分钟数，在起始值后的文本框内将默认值1修改为0，表示从0开始生成60条数据（上一步“生成记录2”控件限制了条数），即生成数据为0-59，如图8-15。

 图 8-15

7.配置生成记录3控件

        双击“生成记录3”控件，进入“生成记录”界面，在“限制”后的文本框添加60，表示生成60条数据（即60秒钟从0秒开始至59秒结束共60条数据）；在“字段”框添加生成字段的名称、字段类型及默认值为0，如图8-16。

 图 8-16

8.配置增加序列3控件

        双击“增加序列3”控件，进入“增加序列3”界面，将“值的名称”处将valuename改为minutes，即增加一列秒字段，用于记录秒数，在起始值后的文本框内将默认值1修改为0，表示从0开始生成60条数据（上一步骤中“生成记录3”控件限制了条数），即生成数据为0-59，如图8-17。

 图 8-17

9.配置Javascript代码2控件

        双击“Javascript代码2”控件，进入“Javascript代码2”界面，勾选“兼容模式？”处的复选框，使得Javascript代码2控件的兼容性更强；在Java script代码框中编写代码（代码参考教材如下）；单击【获取变量】按钮，将代码中定义的变量添加至字段框。Javascript代码2控件的配置，如图8-18。

//script here
//生成time
var time = hours24.getInteger() + ":" 
			+ minutes.getInteger() + ":" 
			+ seconds.getInteger();
//time_key
var time_key = (hours24.getInteger()<10?"0":"")
				+hours24.getInteger()+(minutes.getInteger()<10?"0":"")
				+minutes.getInteger()+(seconds.getInteger()<10?"0":"")
				+seconds.getInteger();

 图 8-18

10.配置表输出控件

        双击“表输出”控件，进入“表输出”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图8-19。

 图 8-19

        单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_time；勾选“指定数据库字段”的复选框，用于将维度表dim_time的字段与Javascript 控件流中的字段进行匹配，如图8-20。

图 8-20 

        单击【输入字段映射】按钮，d出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击【猜一猜】按钮，让Kettle自动实现映射，如图8-21。

 图 8-21

11.运行load_dim_time转换

        单击转换工作区顶部的运行按钮，运行创建的转换load_dim_date，实现加载时间数据至时间维度表dim_time中，如图8-22。

图 8-22 

12.查看数据表dim_time中的数据

        通过SQLyog工具，查看数据表dim_time是否已成功插入86400条时间数据，查看结果如图8-23。

 图 8-23

8.3.4 加载员工数据至员工维度表 1.打开Kettle工具，创建转换

        使用Kettle工具，创建一个转换load_dim_staff，并添加表输入控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线，具体如图8-24。

图 8-24

2.配置表输入控件

        双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图8-25；在SQL框中编写SQL语句（如下），用于获取字段staff_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_staff_last_update；单击“预览”按钮，查看临时字段max_dim_staff_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图8-26。

SELECT
COALESCE(MAX(staff_last_update),"1970-01-01 00:00:00")
max_dim_staff_last_update
FROM dim_staff

图 8-25

图 8-26

3.配置表输入2控件

        双击“表输入2”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图8-27；在SQL框中编写SQL语句（如下），用于获取sakila数据库中staff数据表中的最新数据，如图8-28。

SELECt
  staff_id
, first_name
, last_name
, address_id
, picture
, email
, store_id
, active
, username
, password
, last_update
FROM staff where last_update > ?

图8-27 

图 8-28

4.配置字段选择控件

        双击“字段选择”控件，进入“选择/改名值”界面，在“元数据”选项卡的“需要改变元数据的字段”处添加字段active，由于数据仓库sakila_dw中字段staff_active的数据类型为char类型，因此，我们需要将数据表staff中字段active的数据类型改为String类型，如图8-29。

图 8-29 

5.配置值映射控件

        双击“值映射”控件，进入“值映射”界面，在“使用的字段名”处的下拉框选择字段active；在“字段值”框中，添加源值和目标值，这里是将Y替换成Yes，将N替换成No，如图8-30。

 图 8-30

6.配置维度查询/更新控件

        双击“维度查询/更新”控件，进入“维度查询/更新”界面；单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图8-31。

 图 8-31

        单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_staff；在“关键字”选项卡处添加关键字字段staff_id，用于指定维度表字段和值映射控件流中字段的比较条件，若维度表中的数据有更新，则通过字段staff_id进行更新 *** 作，如图8-32；在“字段”选项卡处添加查询/更新字段，用于更新目标维度表中的字段数据；在“代理关键字段”处的下拉框中选择staff_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Version字段”处的下拉框中选择staff_version_number；在“Stream日期字段”处的下拉框中选择last_update；在“开始日期字段”处的下拉框中选择staff_valid_from；在“截止日期字段”处的下拉框中选择staff_valid_through，如图8-33。

图 8-32

图 8-33

7.运行转换load_dim_staff

        单击转换工作区顶部的运行按钮，运行创建的转换load_dim_staff，实现加载员工数据至员工维度表dim_staff中，如图8-34。

 图 8-34

8.查看数据表dim_staff中的数据

        通过SQLyog工具，查看数据表dim_staff是否已成功插入员工数据，查看结果如图8-35。

 图 8-35

欢迎分享，转载请注明来源：内存溢出

原文地址: https://outofmemory.cn/zaji/5573786.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
梅世强 梅世强 一级用户组
0 0
上一篇 2022-12-14
下一篇 2022-12-14

发表评论

登录后才能评论

评论列表（0条）

保存