55、【云原生】Sqoop on k8s 讲解与实战操作.docx

手机用户8105

147

44页

0次

2023-05-29

5墨值下载

【云原生】

Sqoop on k8s

讲解与实战操作

一、概述

Sqoop

是一个在结构化数据和

Hadoop

之间进行批量数据迁移的工具，结构化数据

可以是

MySQL

、

Oracle

等

RDBMS

。

Sqoop

底层用

MapReduce

程序实现抽取、

转换、加载，

MapReduce

天生的特性保证了并行化和高容错率，而且相比

Kettle

等

传统

ETL

工具，任务跑在

Hadoop

集群上，减少了

ETL

服务器资源的使用情况。在特

定场景下，抽取过程会有很大的性能提升。

Sqoop

架构：



官网：

https://sqoop.apache.org/



官方文档：

https://sqoop.apache.org/docs/1.99.7/index.html



GitHub

：

https://github.com/apache/sqoop



想了解更多

Sqoop

也可参考我这篇文章：大数据

Hadoop

之——数据同

步工具

Sqoop



这里的

hadoop

环境部署可以参考我这篇文章：【云原生】

Hadoop HA

on k8s

环境部署



mysql

环境部署可以参考我这篇文章：【云原生】

MySQL on k8s

环境

部署

二、开始编排部署

）下载

Sqoop

部署包

下载地址：

http://archive.apache.org/dist/sqoop/

wget http://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-

hadoop200.tar.gz

tar -xf sqoop-1.99.7-bin-hadoop200.tar.gz

）构建镜像

Dockerfile

FROM myharbor.com/bigdata/centos:7.9.2009

RUN rm -f /etc/localtime && ln -sv

/usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo

"Asia/Shanghai" > /etc/timezone

ENV LANG=zh_CN.UTF-8

RUN groupadd --system --gid=10000 admin && useradd --system --home-

dir /home/admin --uid=10000 --gid=admin -m admin

of 44

5墨值下载

sqoop k8s

关注

评论