日韩小视频-日韩久久一区二区三区-日韩久久一级毛片-日韩久久久精品中文字幕-国产精品亚洲精品影院-国产精品亚洲欧美云霸高清

下載吧 - 綠色安全的游戲和軟件下載中心

軟件下載吧

當(dāng)前位置:軟件下載吧 > 技術(shù)開(kāi)發(fā) > 數(shù)據(jù)庫(kù) > sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

時(shí)間:2024-03-04 00:33作者:下載吧人氣:36

最近再學(xué)習(xí)spark streaming做實(shí)時(shí)計(jì)算這方面內(nèi)容,過(guò)程中需要從后臺(tái)數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)到hdfs中,經(jīng)過(guò)調(diào)研發(fā)現(xiàn)需要使用sqoop進(jìn)行操作,本次操作環(huán)境是Linux下。

首先確保環(huán)境安裝了Hadoop和sqoop,安裝只需要下載 ,解壓 以及配置環(huán)境變量,這里不多說(shuō)了,網(wǎng)上教程很多。

一、配置sqoop以及驗(yàn)證是否成功

切換到配置文件下:cd $SQOOP_HOME/conf

創(chuàng)建配置環(huán)境文件: cp sqoop-env-template.sh sqoop-env.sh

修改配置文件:conf/vi sqoop-env.sh:修改內(nèi)容如下

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

配置完成后,執(zhí)行命令sqoop-version ,檢查是否成功,如圖顯示sqoop 1.4.7即成功。

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

二、添加postgresql驅(qū)動(dòng)jar包

因?yàn)檫@里使用sqoop讀取postgresql的數(shù)據(jù),所以需要將數(shù)據(jù)庫(kù)驅(qū)動(dòng)包放到$SQOOP_HOME/lib 下即可 。

三、導(dǎo)入pg數(shù)據(jù)庫(kù)中表到hdfs中

1、首先要啟動(dòng)Hadoop集群,不然會(huì)報(bào)錯(cuò)

執(zhí)行語(yǔ)句 $HADOOP_HOME/sbin/./start-all.sh

2、執(zhí)行sqoop語(yǔ)句進(jìn)行數(shù)據(jù)導(dǎo)入到hdfs

sqoop import
–connect jdbc:postgresql:localhost:5432/test(數(shù)據(jù)庫(kù)的名稱(chēng))
–username postgres (填自己的數(shù)據(jù)庫(kù)用戶(hù)名)
–password 888888 (填自己數(shù)據(jù)庫(kù)的密碼)
–table company (自己創(chuàng)建表的名稱(chēng))
–m 1 (mapreduce的個(gè)數(shù))

標(biāo)簽[db:關(guān)鍵字]

相關(guān)下載

查看所有評(píng)論+

網(wǎng)友評(píng)論

網(wǎng)友
您的評(píng)論需要經(jīng)過(guò)審核才能顯示

熱門(mén)閱覽

最新排行

公眾號(hào)

主站蜘蛛池模板: 91久久精品 | 国产网站在线看 | 亚洲国产片在线观看 | 欧洲一级大片 | 99久久综合给久久精品 | 欧美精品国产制服第一页 | 久久久久久尹人网香蕉 | 精品久久久久久 | 日本在线看小视频网址 | 一级做a爱片久久蜜桃 | 美国一级毛片完整高清 | 一级片在线观看视频 | 玖草在线资源 | 欧美888| a级欧美片免费观看 | 国产一区免费在线观看 | 高清一级毛片免免费看 | 国产区久久 | 亚洲一区二区三区香蕉 | 在线观看国产日韩 | 日本在线亚洲 | 国产精品一区二区免费 | 性色午夜视频免费男人的天堂 | 成人高清视频在线观看 | 一级片美国 | 天天躁天天碰天天看 | 久久www免费人成看国产片 | 欧美成人免费午夜全 | 亚洲成a人v在线观看 | 欧美精品综合一区二区三区 | 一区二区三区免费视频观看 | 国产亚洲欧美在线播放网站 | 日本三级香港三级人妇99视 | 毛片在线不卡 | 成人免费观看网欧美片 | 亚洲视频在线一区二区 | 亚洲成年人在线观看 | 久草热久草视频 | 欧美性色高清生活片 | 美女被免费网站在线软件 | 国产免费一级在线观看 |