python 爬小说代码

今天我们来一起学习怎样使用Python爬取小说。Python作为最流行的开发语言之一，具有强大的网络要求库Requests和解析库BeautifulSoup，让我们轻松实现爬取小说信息的目标。

首先，我们需要安装Requests和BeautifulSoup库。

pip install requests
pip install BeautifulSoup4

接下来，我们就能够写代码实现爬取小说详情页及章节内容。

import requests
from bs4 import BeautifulSoup
url = "https://www.book.com"
# 小说详情页的url
detail_url = url + "/novel/detail/123456"
# 章节内容的url
chapter_url = url + "/novel/chapter/123456/1"
# 获得小说详情页
response = requests.get(detail_url)
# 解析小说详情页内容
soup = BeautifulSoup(response.content, "html.parser")
# 获得小说标题
title = soup.find("h1", class_="title").text
# 获得小说作者
author = soup.find("span", class_="author").text
# 获得小说描写
description = soup.find("div", class_="description").p.text
# 获得小说章节数
chapter_num = soup.find("span", class_="chapterNum").text.replace("章", "")
# 遍历获得每一个章节内容
for i in range(1, int(chapter_num)+1):
chapter_response = requests.get(chapter_url.format(i))
chapter_soup = BeautifulSoup(chapter_response.content, "html.parser")
# 获得章节标题
chapter_title = chapter_soup.find("h1").text
# 获得章节内容
chapter_content = chapter_soup.find("div", class_="content").text
# 处理章节内容，去掉空格和换行
chapter_content = chapter_content.strip().replace(" ", "").replace("\n", "")
# 输出章节信息
print("章节标题：", chapter_title)
print("章节内容：", chapter_content)

完成以上代码后，我们就能够愉快地开始爬取小说啦！