日韩小视频-日韩久久一区二区三区-日韩久久一级毛片-日韩久久久精品中文字幕-国产精品亚洲精品影院-国产精品亚洲欧美云霸高清

下載吧 - 綠色安全的游戲和軟件下載中心

軟件下載吧

當(dāng)前位置:軟件下載吧 > 技術(shù)開(kāi)發(fā) > 數(shù)據(jù)庫(kù) > sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

時(shí)間:2024-03-04 00:33作者:下載吧人氣:36

最近再學(xué)習(xí)spark streaming做實(shí)時(shí)計(jì)算這方面內(nèi)容,過(guò)程中需要從后臺(tái)數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)到hdfs中,經(jīng)過(guò)調(diào)研發(fā)現(xiàn)需要使用sqoop進(jìn)行操作,本次操作環(huán)境是Linux下。

首先確保環(huán)境安裝了Hadoop和sqoop,安裝只需要下載 ,解壓 以及配置環(huán)境變量,這里不多說(shuō)了,網(wǎng)上教程很多。

一、配置sqoop以及驗(yàn)證是否成功

切換到配置文件下:cd $SQOOP_HOME/conf

創(chuàng)建配置環(huán)境文件: cp sqoop-env-template.sh sqoop-env.sh

修改配置文件:conf/vi sqoop-env.sh:修改內(nèi)容如下

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

配置完成后,執(zhí)行命令sqoop-version ,檢查是否成功,如圖顯示sqoop 1.4.7即成功。

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

二、添加postgresql驅(qū)動(dòng)jar包

因?yàn)檫@里使用sqoop讀取postgresql的數(shù)據(jù),所以需要將數(shù)據(jù)庫(kù)驅(qū)動(dòng)包放到$SQOOP_HOME/lib 下即可 。

三、導(dǎo)入pg數(shù)據(jù)庫(kù)中表到hdfs中

1、首先要啟動(dòng)Hadoop集群,不然會(huì)報(bào)錯(cuò)

執(zhí)行語(yǔ)句 $HADOOP_HOME/sbin/./start-all.sh

2、執(zhí)行sqoop語(yǔ)句進(jìn)行數(shù)據(jù)導(dǎo)入到hdfs

sqoop import
–connect jdbc:postgresql:localhost:5432/test(數(shù)據(jù)庫(kù)的名稱(chēng))
–username postgres (填自己的數(shù)據(jù)庫(kù)用戶(hù)名)
–password 888888 (填自己數(shù)據(jù)庫(kù)的密碼)
–table company (自己創(chuàng)建表的名稱(chēng))
–m 1 (mapreduce的個(gè)數(shù))

標(biāo)簽[db:關(guān)鍵字]

相關(guān)下載

查看所有評(píng)論+

網(wǎng)友評(píng)論

網(wǎng)友
您的評(píng)論需要經(jīng)過(guò)審核才能顯示

熱門(mén)閱覽

最新排行

公眾號(hào)

主站蜘蛛池模板: 在线欧美自拍 | 波多野在线播放 | 国产女人毛片 | 成年人免费大片 | 欧美一级人与动毛片免费播放 | 欧美精品区| 边接电话边做国语高清对白 | 99久久国产免费中文无字幕 | a国产成人免费视频 | 日本波多野结衣在线 | 怡红院爽妇网 | www久久久| 欧美aaa级| 国产精品一国产精品免费 | 可以免费看黄色的网站 | 成人免费在线播放视频 | 亚洲国产成人久久一区久久 | 男人天堂中文字幕 | 国产a级精品特黄毛片 | 一级a级国产不卡毛片 | 亚洲三级小视频 | 国产欧美另类 | 在线久草| 久久精品成人免费网站 | 久久最新免费视频 | 午夜性爽视频男人的天堂在线 | 久草视频在| 在线国产一区二区三区 | 亚洲日本一区二区三区在线 | freesex寂寞老妇hd | 精品中文字幕不卡在线视频 | 国产一级黄色 | 日韩在线二区全免费 | 日本欧美一级二级三级不卡 | 91色久 | 国产高清一国产免费软件 | 日本高清视频一区二区 | a级毛片免费在线观看 | 精品视频在线看 | 欧美亚洲日本国产 | 一区免费在线观看 |