日韩小视频-日韩久久一区二区三区-日韩久久一级毛片-日韩久久久精品中文字幕-国产精品亚洲精品影院-国产精品亚洲欧美云霸高清

下載吧 - 綠色安全的游戲和軟件下載中心

軟件下載吧

當(dāng)前位置:軟件下載吧 > 技術(shù)開(kāi)發(fā) > 數(shù)據(jù)庫(kù) > sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

時(shí)間:2024-03-04 00:33作者:下載吧人氣:36

最近再學(xué)習(xí)spark streaming做實(shí)時(shí)計(jì)算這方面內(nèi)容,過(guò)程中需要從后臺(tái)數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)到hdfs中,經(jīng)過(guò)調(diào)研發(fā)現(xiàn)需要使用sqoop進(jìn)行操作,本次操作環(huán)境是Linux下。

首先確保環(huán)境安裝了Hadoop和sqoop,安裝只需要下載 ,解壓 以及配置環(huán)境變量,這里不多說(shuō)了,網(wǎng)上教程很多。

一、配置sqoop以及驗(yàn)證是否成功

切換到配置文件下:cd $SQOOP_HOME/conf

創(chuàng)建配置環(huán)境文件: cp sqoop-env-template.sh sqoop-env.sh

修改配置文件:conf/vi sqoop-env.sh:修改內(nèi)容如下

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

配置完成后,執(zhí)行命令sqoop-version ,檢查是否成功,如圖顯示sqoop 1.4.7即成功。

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

二、添加postgresql驅(qū)動(dòng)jar包

因?yàn)檫@里使用sqoop讀取postgresql的數(shù)據(jù),所以需要將數(shù)據(jù)庫(kù)驅(qū)動(dòng)包放到$SQOOP_HOME/lib 下即可 。

三、導(dǎo)入pg數(shù)據(jù)庫(kù)中表到hdfs中

1、首先要啟動(dòng)Hadoop集群,不然會(huì)報(bào)錯(cuò)

執(zhí)行語(yǔ)句 $HADOOP_HOME/sbin/./start-all.sh

2、執(zhí)行sqoop語(yǔ)句進(jìn)行數(shù)據(jù)導(dǎo)入到hdfs

sqoop import
–connect jdbc:postgresql:localhost:5432/test(數(shù)據(jù)庫(kù)的名稱(chēng))
–username postgres (填自己的數(shù)據(jù)庫(kù)用戶(hù)名)
–password 888888 (填自己數(shù)據(jù)庫(kù)的密碼)
–table company (自己創(chuàng)建表的名稱(chēng))
–m 1 (mapreduce的個(gè)數(shù))

標(biāo)簽[db:關(guān)鍵字]

相關(guān)下載

查看所有評(píng)論+

網(wǎng)友評(píng)論

網(wǎng)友
您的評(píng)論需要經(jīng)過(guò)審核才能顯示

熱門(mén)閱覽

最新排行

公眾號(hào)

主站蜘蛛池模板: 国产欧美视频综合二区 | av亚洲男人天堂 | 欧美一级在线 | 亚洲经典在线观看 | 国产成人毛片亚洲精品不卡 | 97影院理论片 | 日本成人中文字幕 | 成年人三级网站 | 国产日韩精品欧美一区视频 | 亚洲国产毛片aaaaa无费看 | 久久精品国产精品亚洲20 | 午夜一级毛片免费视频 | 国产精品一区二区三区久久 | 成人免费的性色视频 | 国产老鸭窝毛片一区二区 | 中国一级特黄视频 | 国产一区二区三区在线观看精品 | 最新理论三级中文在线观看 | 国产精品自在自线亚洲 | 免费日韩一级片 | 99久久精品免费国产一区二区三区 | 手机看片在线精品观看 | 日产一一到六区网站免费 | 精品久久久日韩精品成人 | 日本毛片在线观看 | 免费的三级毛片 | 国产女王女m视频vk 国产女王丨vk | 国产一区二区三区成人久久片 | 九九免费精品视频 | 精品一区二区久久 | 免费人成在线观看网站品爱网 | 欧美精品一区二区三区在线 | 日韩精品免费看 | 看片免费黄| 国产普通话一二三道 | 国产情侣无套精品视频 | 欧美视频二区 | 黄色在线播放 | 欧美日韩视频在线第一区 | 男人透女人超爽视频免费 | 作爱视频在线免费观看 |