最近再學(xué)習(xí)spark streaming做實(shí)時計(jì)算這方面內(nèi)容，過程中需要從后臺數(shù)據(jù)庫導(dǎo)出數(shù)據(jù)到hdfs中，經(jīng)過調(diào)研發(fā)現(xiàn)需要使用sqoop進(jìn)行操作，本次操作環(huán)境是Linux下。

首先確保環(huán)境安裝了Hadoop和sqoop，安裝只需要下載 ，解壓 以及配置環(huán)境變量，這里不多說了，網(wǎng)上教程很多。

一、配置sqoop以及驗(yàn)證是否成功

切換到配置文件下：cd $SQOOP_HOME/conf

創(chuàng)建配置環(huán)境文件： cp sqoop-env-template.sh sqoop-env.sh

修改配置文件：conf/vi sqoop-env.sh:修改內(nèi)容如下

配置完成后，執(zhí)行命令sqoop-version ，檢查是否成功，如圖顯示sqoop 1.4.7即成功。

二、添加postgresql驅(qū)動jar包

因?yàn)檫@里使用sqoop讀取postgresql的數(shù)據(jù)，所以需要將數(shù)據(jù)庫驅(qū)動包放到$SQOOP_HOME/lib 下即可 。

三、導(dǎo)入pg數(shù)據(jù)庫中表到hdfs中

1、首先要啟動Hadoop集群，不然會報錯

執(zhí)行語句 $HADOOP_HOME/sbin/./start-all.sh

2、執(zhí)行sqoop語句進(jìn)行數(shù)據(jù)導(dǎo)入到hdfs

sqoop import
–connect jdbc:postgresql:localhost:5432/test（數(shù)據(jù)庫的名稱）
–username postgres (填自己的數(shù)據(jù)庫用戶名)
–password 888888 （填自己數(shù)據(jù)庫的密碼）
–table company （自己創(chuàng)建表的名稱）
–m 1 （mapreduce的個數(shù)）