python 爬虫小工具

在今天的互联网时期，爬虫已成了一项重要的技能。Python是一种非常合适做爬虫的语言，由于其强大的库和模块支持。下面我们介绍一些Python的爬虫小工具，来为大家提供帮助。

1. requests
import requests
response = requests.get("http://www.example.com")
print(response.text)
2. BeautifulSoup
from bs4 import BeautifulSoup
import requests
response = requests.get("http://www.example.com")
soup = BeautifulSoup(response.content, 'html.parser')
print(soup.title.string)
3. Scrapy
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.css('span small::text').get(),
'tags': quote.css('div.tags a.tag::text').getall(),
}
4. Selenium
from selenium import webdriver
driver = webdriver.Firefox()
driver.get("http://www.example.com")
5. PyQuery
from pyquery import PyQuery as pq
import requests
response = requests.get("http://www.example.com")
doc = pq(response.text)
print(doc('title').text())

以上五种工具各有特点，可以根据自己的需要和熟习的程度来选择适合的工具。Python的爬虫虽然强大，但也要注意合法合规的问题，以避免出现没必要要的麻烦。