日韩小视频-日韩久久一区二区三区-日韩久久一级毛片-日韩久久久精品中文字幕-国产精品亚洲精品影院-国产精品亚洲欧美云霸高清

下載吧 - 綠色安全的游戲和軟件下載中心

軟件下載吧

當前位置:軟件下載吧 > 數據庫 > DB2 > python實現爬蟲數據存到 MongoDB

python實現爬蟲數據存到 MongoDB

時間:2024-03-09 11:51作者:下載吧人氣:19

在以上兩篇文章中已經介紹到了 Python 爬蟲和 MongoDB , 那么下面我就將爬蟲爬下來的數據存到 MongoDB 中去,首先來介紹一下我們將要爬取的網站, readfree 網站,這個網站非常的好,我們只需要每天簽到就可以免費下載三本書,良心網站,下面我就將該網站上的每日推薦書籍爬下來。

python實現爬蟲數據存到 MongoDB

利用上面幾篇文章介紹的方法,我們很容易的就可以在網頁的源代碼中尋找到書籍的姓名和書籍作者的信息。

找到之后我們復制 XPath ,然后進行提取即可。源代碼如下所示

# coding=utf-8

import re
import requests
from lxml import etree
import pymongo
import sys

reload(sys)
sys.setdefaultencoding('utf-8')

def getpages(url, total):
  nowpage = int(re.search('(d+)', url, re.S).group(1))
  urls = []

  for i in range(nowpage, total + 1):
    link = re.sub('(d+)', '%s' % i, url, re.S)
    urls.append(link)

  return urls

def spider(url):
  html = requests.get(url)

  selector = etree.HTML(html.text)

  book_name = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/a/text()')
  book_author = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/div/a/text()')

  saveinfo(book_name, book_author)

def saveinfo(book_name, book_author):
  connection = pymongo.MongoClient()
  BookDB = connection.BookDB
  BookTable = BookDB.books

  length = len(book_name)

  for i in range(0, length):
    books = {}
    books['name'] = str(book_name[i]).replace('n','')
    books['author'] = str(book_author[i]).replace('n','')
    BookTable.insert_one(books)

if __name__ == '__main__':
  url = 'http://readfree.me/shuffle/?page=1'
  urls = getpages(url,3)

  for each in urls:
    spider(each)

標簽python,實現,爬蟲,數據,MongoDB
查看所有評論+

網友評論

網友
您的評論需要經過審核才能顯示

熱門閱覽

最新排行

公眾號

盖楼回复X

(您的评论需要经过审核才能显示)

主站蜘蛛池模板: 亚洲骚片| 亚洲成人免费观看 | 91看片淫黄大片欧美看国产片 | 亚洲一区日韩一区欧美一区a | 99热久久精品国产 | 欧美一区二区三区在线观看 | 午夜人成| 美女扒开腿被男人猛视频 | 精品久久久久久综合日本 | 亚洲精品一区二区三区在线看 | 黄色大片三级 | 精品视频在线观看 | 国产成人精品免费视频大全可播放的 | 国产男女乱淫真视频全程播放 | 一级风流片a级国产 | 国产盗摄视频 | 欧美日韩亚洲v在线观看 | 一区不卡在线观看 | 九九九九热精品免费视频 | 国产精品三级国语在线看 | 免费播放巨茎人妖不卡片 | 色拍拍噜噜噜aⅴ在线观看 色青青草原桃花久久综合 色婷婷91 | 久久久久久久久中文字幕 | 特级欧美午夜aa毛片 | 妖精www成人动漫在线观看 | 69视频在线观看xxxxx | 国产色爽女小说免费看 | 国产一级做a爰片在线 | 一级特黄特黄毛片欧美的 | 玖玖视频精品 | 成人毛片免费在线观看 | 成人 欧美 | 一色屋成人免费精品网 | 久久综合婷婷香五月 | 亚洲久久网 | 三级毛片在线 | 手机看片国产免费永久 | 日本国产欧美 | 欧美日韩成人午夜免费 | 97在线视频免费公开观看 | 亚洲日本在线观看网址 |