日韩小视频-日韩久久一区二区三区-日韩久久一级毛片-日韩久久久精品中文字幕-国产精品亚洲精品影院-国产精品亚洲欧美云霸高清

下載吧 - 綠色安全的游戲和軟件下載中心

軟件下載吧

當(dāng)前位置:軟件下載吧 > 技術(shù)開(kāi)發(fā) > 數(shù)據(jù)庫(kù) > sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

時(shí)間:2024-03-04 00:33作者:下載吧人氣:36

最近再學(xué)習(xí)spark streaming做實(shí)時(shí)計(jì)算這方面內(nèi)容,過(guò)程中需要從后臺(tái)數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)到hdfs中,經(jīng)過(guò)調(diào)研發(fā)現(xiàn)需要使用sqoop進(jìn)行操作,本次操作環(huán)境是Linux下。

首先確保環(huán)境安裝了Hadoop和sqoop,安裝只需要下載 ,解壓 以及配置環(huán)境變量,這里不多說(shuō)了,網(wǎng)上教程很多。

一、配置sqoop以及驗(yàn)證是否成功

切換到配置文件下:cd $SQOOP_HOME/conf

創(chuàng)建配置環(huán)境文件: cp sqoop-env-template.sh sqoop-env.sh

修改配置文件:conf/vi sqoop-env.sh:修改內(nèi)容如下

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

配置完成后,執(zhí)行命令sqoop-version ,檢查是否成功,如圖顯示sqoop 1.4.7即成功。

sqoop讀取postgresql數(shù)據(jù)庫(kù)表格導(dǎo)入到hdfs中的實(shí)現(xiàn)

二、添加postgresql驅(qū)動(dòng)jar包

因?yàn)檫@里使用sqoop讀取postgresql的數(shù)據(jù),所以需要將數(shù)據(jù)庫(kù)驅(qū)動(dòng)包放到$SQOOP_HOME/lib 下即可 。

三、導(dǎo)入pg數(shù)據(jù)庫(kù)中表到hdfs中

1、首先要啟動(dòng)Hadoop集群,不然會(huì)報(bào)錯(cuò)

執(zhí)行語(yǔ)句 $HADOOP_HOME/sbin/./start-all.sh

2、執(zhí)行sqoop語(yǔ)句進(jìn)行數(shù)據(jù)導(dǎo)入到hdfs

sqoop import
–connect jdbc:postgresql:localhost:5432/test(數(shù)據(jù)庫(kù)的名稱(chēng))
–username postgres (填自己的數(shù)據(jù)庫(kù)用戶(hù)名)
–password 888888 (填自己數(shù)據(jù)庫(kù)的密碼)
–table company (自己創(chuàng)建表的名稱(chēng))
–m 1 (mapreduce的個(gè)數(shù))

標(biāo)簽[db:關(guān)鍵字]

相關(guān)下載

查看所有評(píng)論+

網(wǎng)友評(píng)論

網(wǎng)友
您的評(píng)論需要經(jīng)過(guò)審核才能顯示

熱門(mén)閱覽

最新排行

公眾號(hào)

主站蜘蛛池模板: 久久夜色邦福利网 | 国产亚洲精品久久久久久 | 国产在线啪 | 精品视频一区二区三区在线观看 | 国产精品91在线播放 | 久久亚洲国产精品 | 日韩在线资源 | 成人精品一区二区www | 在线观看亚洲网站 | 精品免费久久久久久久 | 九九热视频精品 | 中文字幕日韩精品亚洲七区 | 欧美成人艳星在线播放 | 亚洲欧美综合久久 | 国产a网站 | 91寡妇天天综合久久影院 | 日韩三级视频在线观看 | 日韩中文字幕精品一区在线 | 亚洲欧美一区二区三区久久 | 亚洲性生活视频 | 欧美极品第1页专区 | 欧美hdvideosex4k | 欧美高清另类自拍视频在线看 | 成人免费在线观看视频 | 亚洲视频一区二区三区 | 日本一区二区三区四区公司 | 99视频网站 | 成人国产第一区在线观看 | 欧美午夜视频在线 | 精品国产成人在线 | 碰碰碰精品视频在线观看 | 成年人免费软件 | 国产精品美乳免费看 | 一本久久道久久爱 | 国产2021中文天码字幕 | 99精品视频在线 | 欧美巨大精品videos | 乱人伦中文视频在线 | 手机在线精品视频 | 亚洲综合天堂 | 美女被男人cao的爽视频黄 |