暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

kettle组件使用-输入输出用法

原创 超越无限D 2022-06-15
2168


3.2表输入

【功能描述】

这一步常常用来利用连接和SQL,从数据库中读取信息。自动生成基本的SQL 语句。

【操作步骤或操作内容】

功能1:指定选项

选项

描述

步骤名称

步骤的名称,在单一的步骤中,名称必需唯一。

连接

读取数据的数据库连接。

SQL

SQL 语句用来从数据库连接中读取数据。

从步骤插入数据

指定我们期待读取数据的步骤名称。这些信息能被插入到SQL 语句。

限制

设置从数据库中读取的行数。0 所有行。

示例:指定如下SQL语句:


注:日期可以从“获取系统信息”步骤类型中获取。

3.3 EXCEL输入

【功能描述】

这个步骤从EXCEL文件输入数据。

【操作步骤或操作内容】

功能1:指定文件名

参考 3.1 文本文件输入

功能2:指定内容

选项

描述

头部

检查是否工作表指定了一个头部行。

非空记录

检查是否不需要空行输出。

停在空记录

当步骤在读取工作表遇到一个空行的时候停止读取。

限制

限制输出的行数,0 代表输出所有行。

功能3:字段和错误处理

参考 3.1 文本文件输入

3.4 CSV文件输入

【功能描述】

这个步骤从CSV文件输入数据。

【操作步骤或操作内容】

功能1:指定选项

选项

描述

文件名

CSV文件名。

分割符

文件中使用的分割符。

#附件

只将符号内的字符串输入。

NIO的缓冲区大小

定义缓冲区大小。

延迟转换

是否延迟转换。

标题行存在

是否去掉标题行。

添加文件名到结果

是否在结果中输出文件名。

行号字段

行号字段命名。

并行运行

指定并行属性。

文件编码

选择字符集编码。

3.5文本文件输出

【功能描述】

这个步骤将数据流输出到文本文件。

【操作步骤或操作内容】

功能1:指定文件

选项

描述

文件名称

输出文件名。

以命令行方式运行

根据指定,把结果输出到命令行或者脚本。

扩展名

在文件名的最后添加一个点和扩展名(.txt)。

文件名里包含步骤数

如果你在多个拷贝中运行步骤,拷贝的数量将包含到文件名中(在扩展名之前)。

文件名包含分区

文件名中包含数据分区数量。

文件名包含日期

文件名中包含系统日期(_20041231)。

文件名包含时间

文件名中包含系统时间(_235959)。

特殊日期格式

指定特殊日期格式。

功能2:指定内容

选项

描述

追加

是否在指定的文件最后追加行。

分隔符

指定在文本中分隔字段的字符,例如;或者制表符。

封闭符

封闭字段的一对字符。可选。

头部

如果你想有一个头部行,使这个选项可用(文件第一行)。

尾部

如果你想有一个尾部行,使这个选项可用(文件最后一行)。

格式

DOS 或者UNIX。UNIX 文件行分隔符是换行符。DOS 文件可以是换行符或者回车符。

编码

指定文件使用的编码。如果空白就使用系统缺省的编码。

压缩

指定压缩的类型(zip 或者gzip)。

长度固定

在字段最后添加空格或者删除字符,直到长度达到指定。

快速数据导出

当处理大量数据到一个文本文件时,提高性能。(不包含任何格式化信息)。

分拆…每一行

如果N 比0 大,用N 行拆分文本文件,分割成多个部分。

增加文件结束行

指定输出文本的结束行。

功能3:指定字段

参考3.1 文本文件输入

3.6表输出

【功能描述】

这个步骤将数据导入数据库表。

【操作步骤或操作内容】

功能1:指定选项

选项

描述

连接

用来写数据的数据库连接。

目标模式

数据库的模式名。

目标表

要写数据的表名。

提交记录数量

在数据表中用事务插入行。如果N 比0 大,每N 行提交一次连接。否则,不使用事务,速度会慢一些。

裁剪表

在第一行数据插入之前裁剪表。

忽略插入错误

使Kettle 忽略比喻违反主键约束之类的插入错误,最多20 个警告将被日志记录。在批量插入的时候这个功能不可用。

使用批量插入

如果你想批量插入的话,就使用这个选项。这个选项的速度最快,默认被选上。

表分区数据

使用这个选项可以在多个表之间拆分数据。

表名定义在一个字段

使用这些选项可以拆分数据到一个或者多个表里,目标表名可以用你指定的字段来定义。例如如果你想存储顾客性别数据,这些数据可能会存储到表M和表F里面(female 女性和male 男性表)。这个选项可以阻止这些字段插入到对应的表里。

返回一个自动产生的关键字

往表中插入行时,是否产生一个关键字。

自动产生关键字的字段名称

指定包含关键字的输出字段的字段名称。

指定数据库字段

只导入指定的字段,多余的字段忽略。

功能2:字段值与数据流对应

3.7 EXCEL输出

【功能描述】

这个步骤将数据写入EXCEL表。

【操作步骤或操作内容】

功能1:指定文件

选项

描述

文件名和扩展名

用于指定输出文件。

不要在启动时创建文件

只写入已存在文件。

文件名里包含步骤数

允许文件并行创建,并在文件名里包含步骤数。

文件名里包含日期

在文件名里包含日期。

文件名里包含时间

在文件名里包含时间。

指定日期时间格式

指定日期时间格式。

添加文件名到结果中

输出字段中包含文件名字段。

功能2:指定内容

选项

描述

追加

追加记录。

检查表单是否有头部。

检查表单是否有尾部。

编码

指定EXCEL表单使用的编码。

分割所有行

分割数据到几个输出文件中。

使用模板

输出的EXCEL 数据是否使用模板。

EXCEL模板

格式化EXCEL 输出的模板的名称。

追加EXCEL模板

是否将EXCEL 输出添加到指定的EXCEL 模板中。

功能3:指定字段

指定你想输出到EXCEL 文件中的字段

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论

目录
  • 3.2表输入
  • 3.3 EXCEL输入
  • 3.4 CSV文件输入
  • 3.5文本文件输出
  • 3.6表输出
  • 3.7 EXCEL输出