時(shí)間:2024-03-04 00:33作者:下載吧人氣:36
最近再學(xué)習(xí)spark streaming做實(shí)時(shí)計(jì)算這方面內(nèi)容,過(guò)程中需要從后臺(tái)數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)到hdfs中,經(jīng)過(guò)調(diào)研發(fā)現(xiàn)需要使用sqoop進(jìn)行操作,本次操作環(huán)境是Linux下。
首先確保環(huán)境安裝了Hadoop和sqoop,安裝只需要下載 ,解壓 以及配置環(huán)境變量,這里不多說(shuō)了,網(wǎng)上教程很多。
切換到配置文件下:cd $SQOOP_HOME/conf
創(chuàng)建配置環(huán)境文件: cp sqoop-env-template.sh sqoop-env.sh
修改配置文件:conf/vi sqoop-env.sh:修改內(nèi)容如下
配置完成后,執(zhí)行命令sqoop-version ,檢查是否成功,如圖顯示sqoop 1.4.7即成功。
因?yàn)檫@里使用sqoop讀取postgresql的數(shù)據(jù),所以需要將數(shù)據(jù)庫(kù)驅(qū)動(dòng)包放到$SQOOP_HOME/lib 下即可 。
1、首先要啟動(dòng)Hadoop集群,不然會(huì)報(bào)錯(cuò)
執(zhí)行語(yǔ)句 $HADOOP_HOME/sbin/./start-all.sh
2、執(zhí)行sqoop語(yǔ)句進(jìn)行數(shù)據(jù)導(dǎo)入到hdfs
sqoop import
–connect jdbc:postgresql:localhost:5432/test(數(shù)據(jù)庫(kù)的名稱(chēng))
–username postgres (填自己的數(shù)據(jù)庫(kù)用戶(hù)名)
–password 888888 (填自己數(shù)據(jù)庫(kù)的密碼)
–table company (自己創(chuàng)建表的名稱(chēng))
–m 1 (mapreduce的個(gè)數(shù))
網(wǎng)友評(píng)論