日韩小视频-日韩久久一区二区三区-日韩久久一级毛片-日韩久久久精品中文字幕-国产精品亚洲精品影院-国产精品亚洲欧美云霸高清

下載吧 - 綠色安全的游戲和軟件下載中心

軟件下載吧

當前位置:軟件下載吧 > 數據庫 > DB2 > python實現爬蟲數據存到 MongoDB

python實現爬蟲數據存到 MongoDB

時間:2024-03-09 11:51作者:下載吧人氣:19

在以上兩篇文章中已經介紹到了 Python 爬蟲和 MongoDB , 那么下面我就將爬蟲爬下來的數據存到 MongoDB 中去,首先來介紹一下我們將要爬取的網站, readfree 網站,這個網站非常的好,我們只需要每天簽到就可以免費下載三本書,良心網站,下面我就將該網站上的每日推薦書籍爬下來。

python實現爬蟲數據存到 MongoDB

利用上面幾篇文章介紹的方法,我們很容易的就可以在網頁的源代碼中尋找到書籍的姓名和書籍作者的信息。

找到之后我們復制 XPath ,然后進行提取即可。源代碼如下所示

# coding=utf-8

import re
import requests
from lxml import etree
import pymongo
import sys

reload(sys)
sys.setdefaultencoding('utf-8')

def getpages(url, total):
  nowpage = int(re.search('(d+)', url, re.S).group(1))
  urls = []

  for i in range(nowpage, total + 1):
    link = re.sub('(d+)', '%s' % i, url, re.S)
    urls.append(link)

  return urls

def spider(url):
  html = requests.get(url)

  selector = etree.HTML(html.text)

  book_name = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/a/text()')
  book_author = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/div/a/text()')

  saveinfo(book_name, book_author)

def saveinfo(book_name, book_author):
  connection = pymongo.MongoClient()
  BookDB = connection.BookDB
  BookTable = BookDB.books

  length = len(book_name)

  for i in range(0, length):
    books = {}
    books['name'] = str(book_name[i]).replace('n','')
    books['author'] = str(book_author[i]).replace('n','')
    BookTable.insert_one(books)

if __name__ == '__main__':
  url = 'http://readfree.me/shuffle/?page=1'
  urls = getpages(url,3)

  for each in urls:
    spider(each)

標簽python,實現,爬蟲,數據,MongoDB

相關下載

查看所有評論+

網友評論

網友
您的評論需要經過審核才能顯示

熱門閱覽

最新排行

公眾號

主站蜘蛛池模板: 欧美肥婆videoxxx | 91精品最新国内在线播放 | 国产成人一区二区三区免费观看 | 久久亚洲国产午夜精品理论片 | 国内视频自拍 | 国产成人网 | 国产成人免费视频 | 色伦网| 国产精品7m凸凹视频分类大全 | 欧美大片欧美毛片大片 | 日韩a毛片| 久草精彩视频 | 久草在线免费看 | 欧美性精品videofree | 国产原创在线视频 | 国产一区日韩二区欧美三 | 国产嫩草影院在线观看 | 9191精品国产费久久 | 亚洲国产精品a一区二区三区 | 美女张开腿让男人 | 亚洲国产精品成人久久 | 亚洲人成高清 | 欧美亚洲一级片 | 精品一久久 | 在线国产欧美 | 欧美成人免费全部观看天天性色 | 中国成人在线视频 | 九九视频免费观看 | 欧美a极品极品欧美 | 99视频精品免费99在线 | a级片观看 | 欧美特级午夜一区二区三区 | 日韩最新中文字幕 | 国产高清一区二区 | 中文字幕福利片 | 久色免费视频 | 8050网午夜一级毛片免费不卡 | 很黄很色的摸下面的视频 | 韩日黄色片 | 一级一黄在线观看视频免费 | 中文字幕一区二区三区 精品 |