python 爬小说源码

在Python中，爬取小说是一种非常有趣的事情。可以用BeautifulSoup来解析HTML页面并找到小说链接，通过requests库来获得小说网页的内容，用re库或xpath来提取小说内容。下面是一个简单的爬取小说的示例：

# 导入相应的库
import requests
from bs4 import BeautifulSoup
# 设置要求头，摹拟浏览器访问
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 网页链接
url = 'https://www.booktxt.net/1_1/'
# 获得网页内容
res = requests.get(url, headers=headers)
res.encoding = 'utf⑻'
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(res.text, 'html.parser')
# 找到小说章节链接
chapters = soup.select('#list a')
# 循环遍历章节链接并爬取
for chapter in chapters:
chapter_url = 'https://www.booktxt.net' + chapter.get('href')
chapter_title = chapter.string
# 获得章节内容
chapter_res = requests.get(chapter_url, headers=headers)
chapter_res.encoding = 'utf⑻'
# 使用正则表达式提取小说内容
pattern = '
(.*?)
'
content = re.findall(pattern, chapter_res.text, re.S)
content = content[0].replace(' ', ' ')
content = content.replace('
', '')
# 输出结果
print(chapter_title)
print(content)

通过上面的示例代码，我们可以轻松地爬取小说的内容，固然还需要一些其他的技能，例如网页解析、反爬虫等等，但是这不是本文的重点。我们要做的是学习Python语法、了解怎样使用Python来完成爬取小说的任务。