python实现爬虫数据存到 MongoDB
在以上两篇文章中已介绍到了 Python 爬虫和 MongoDB ， 那末下面我就将爬虫爬下来的数据存到 MongoDB 中去，首先来介绍一下我们将要爬取的网站, readfree 网站，这个网站非常的好，我们只需要每天签到就能够不要钱下载三本书，良知网站，下面我就将该网站上的逐日推荐书籍爬下来。
利用上面几篇文章介绍的方法，我们很容易的就能够在网页的源代码中寻觅到书籍的姓名和书籍作者的信息。
找到以后我们复制 XPath ，然落后行提取便可。源代码以下所示
# coding=utf⑻
import re
import requests
from lxml import etree
import pymongo
import sys
reload(sys)
sys.setdefaultencoding('utf⑻')
def getpages(url, total):
nowpage = int(re.search('(\d+)', url, re.S).group(1))
urls = []
for i in range(nowpage, total + 1):
link = re.sub('(\d+)', '%s' % i, url, re.S)
urls.append(link)
return urls
def spider(url):
html = requests.get(url)
selector = etree.HTML(html.text)
book_name = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/a/text()')
book_author = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/div/a/text()')
saveinfo(book_name, book_author)
def saveinfo(book_name, book_author):
connection = pymongo.MongoClient()
BookDB = connection.BookDB
BookTable = BookDB.books
length = len(book_name)
for i in range(0, length):
books = {}
books['name'] = str(book_name[i]).replace('\n','')
books['author'] = str(book_author[i]).replace('\n','')
BookTable.insert_one(books)
if __name__ == '__main__':
url = 'http://readfree.me/shuffle/?page=1'
urls = getpages(url,3)
for each in urls:
spider(each)
注意，在写入数据库的进程中不要一下子将字典中的数据写入数据库，我一开始就这么写的，但是我发现数据库中只有三条信息，其他信息都不见了。所以采取一条一条的写入。
还有源代码的开头部份，对默许编码的设置一定不可以省略，否则可能会报编码毛病（真心感觉 Python 在编码这方面好容易出错，为难）。
有的人可能发现了，我将提取的信息转换成了字符串，然后使用 replace() 方法将 \n 去掉了，由于我发现在提取的书籍信息前后存在换行符，看着十分碍眼。
热忱提示一下，在程序运行的时候别忘记将你的 Mongo DB 运行起来，下来看看结果
好了，就这样，如果发现代码哪里存在毛病或说有可以改良的地方，希望留言给我，感谢。
文章来源：丸子建站
文章标题：python实现爬虫数据存到 MongoDB
https://www.wanzijz.com/view/59041.html
