etl_内存溢出

app

大数据学习（六）ETL开发详解

一、ETL含义 ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换&#xf

安全帽国家标准

2022-9-23

108 0 0 0

技术

可复用构件思想的ETL架构技术方案

可复用构件思想的ETL架构技术方案为了得到高质量的数据，必须对抽取(Extract)出来的原始数据做一系列复杂转换(Transform)处理，最后装载(Load)到数据仓库中。这种从原始数据到数据仓

网通网速测试

2022-8-17

43 0 0 0

sql

Kettle（二）：连接SQL Server数据库

前言上一篇文章讲到Kettle的安装部署，假设JDK已装好，Kettle的spoon可以正常打开。本文我们选取SQL Server作为数据源，来探讨怎样使用Kettle。

code

2022-5-21

61 0 0 0

mysql

MySQL高级篇（SQL优化、索引优化、锁机制、主从复制）

目录 0 存储引擎介绍1 SQL性能分析2 常见通用的JOIN查询SQL执行加载顺序七种JOIN写法3 索引介绍3.1 索引是什么3.2 索引优劣势3.3 索引分类和建索引命令语句3.4 索引结构与检索原理3.5 哪些情况适合建索引3.

code

2022-5-21

94 0 0 0

java

springboot集成kettle9

1、安装kettle9客户端，自行百度安装，官网： Kettle — 安装和部署 – Kettle中文网。 2、创建项目，引入jar包。&#

code

2022-5-16

66 0 0 0

java

Kettle闪退，以及Kettle资源库connect报错小解

Kettle闪退 ####### A fatal error has been detected by the Java Runtime Environment: ## SIGSEGV (0xb) at pc0x00007f5639d654

code

2022-5-16

75 0 0 0

java

Kettle项目实战：比赛信息自动流转方案

Kettle项目实战比赛信息自动流转方案 1. 项目背景与介绍众多的比赛都可以为抽象成以下的流程：传统的报名工作需要赛事组工作人员以表格或是邮件等方式采集选手的信息，并归档处理。选参赛过程

code

2022-5-13

61 0 0 0

python

Kettle项目实战：比赛信息自动流转方案

Kettle项目实战比赛信息自动流转方案 1. 项目背景与介绍众多的比赛都可以为抽象成以下的流程：传统的报名工作需要赛事组工作人员以表格或是邮件等方式采集选手的信息，并归档处理。选参赛过程

code

2022-5-13

88 0 0 0

python

使用datax-web把oracle数据库中的数据导入到sundb

一、安装前需环境： 1、MySQL (5.7) 必选（安装步骤略，在线安装参考 https:www.cnblogs.comskychenjiajunp8244099

code

2022-5-13

85 0 0 0

java

ETL学习-IDEA配置（java、maven）、IDEA连接（Hadoop、yarn、Spark）

一、准备：项目前期已配置好环境及必需软件项目前期的准备工作可参照：ETL学习-软件安装（Tomcat、Nginx、Hadoop、Zookeeper&

code

2022-5-6

65 0 0 0

python

【NIFI】1.11插入迁移数据爬坑问题记录

问题及解决方案 1、问题1：Oracle数据库插入失败避坑其一 Nifi在接入数据插入到数据库时， 大多人会遇到同样的数据和表结构往Mysql插入一切正常， 缺无法插入数据到

code

2022-5-5

78 0 0 0

java

【NIFI】1.11插入迁移数据爬坑问题记录

问题及解决方案 1、问题1：Oracle数据库插入失败避坑其一 Nifi在接入数据插入到数据库时， 大多人会遇到同样的数据和表结构往Mysql插入一切正常， 缺无法插入数据到

code

2022-5-5

78 0 0 0

java

码农20年感慨

20220429 无意中找回了3年前的账号，想写些最近几年做过的技术总结，想想又算了，技术迭代那么快，也没什么好记录的。毕竟我是对日外包的&

code

2022-5-5

88 0 0 0

java

DataX处理mysql为null的数据到hive

原因： HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。默认情况下，HFDS Writer会将nul

code

2022-4-27

79 0 0 0

java

kettle创建并连接mysql资源库创建转换中文乱码

将MySQL的字符集编码修改为utf-8。 mysql安装目录，找到my.ini文件 [client] character-set-serverutf8 [mysql] character-set-serverutf8

code

2022-4-25

89 0 0 0

java

海量数据的稽核方案

项目场景： 今天上午一位做数据的同事找到我，问我有没有“数据稽核”相关的经验可供借鉴。客户的需求是这样的: 每天从业务系统抽取数据到数据平台，每个表的数据量过亿要求针对这两

code

2022-4-25

130 0 0 0