python 爬虫多页

Python 爬虫可以帮助我们自动地从网页上抓取需要的数据，但是当网页分成多页时，我们需要特殊的技能来处理这个问题。

在这篇文章中，我们将讨论怎样使用 Python 爬虫来抓取多页数据。我们将使用一个示例网站，该网站列出了每一个州的人口数量，每一个州都有一个单独的页面。

首先，我们需要辨认每一个页面的 URL。在这个例子中，我们可以看到每一个州的页面都有一个类似于http://example.com/population/state/<state-code>的 URL ，其中 <state-code> 是形如 'ny', 'ca', 'tx' 等的州的代码。

http://example.com/population/state/ny
http://example.com/population/state/ca 
http://example.com/population/state/tx

接下来，我们需要使用 Python 的 requests 和 BeautifulSoup 库来检索每一个页面并解析 HTML。我们可使用一个循环来遍历每一个州的代码，然后使用 requests.get() 函数来检索每一个州的页面。我们可使用 BeautifulSoup 的 find() 或 select() 函数来提取页面上需要的数据。

import requests
from bs4 import BeautifulSoup
# 定义州代码列表
states = ['ny', 'ca', 'tx']
# 循环遍历每一个州
for state in states:
# 定义 URL
url = 'http://example.com/population/state/' + state
# 检索页面并解析 HTML
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 从 HTML 中提取数据
population_data = soup.find('div', {'class': 'population'}).text
print(state + ': ' + population_data)

注意，这只是一个简单的示例，实际中可能需要根据网站结构和需求进行更多的调剂。

在本文中，我们演示了怎样使用 Python 爬虫来抓取多页数据。我们使用了一个示例网站作为演示，但是这类技能可以利用于许多其他的网站。