python 爬取小说站

Python是一种简单易学，又有着强大数据处理能力的语言。今天，我们将使用Python爬取小说站中的小说内容。

import requests
from bs4 import BeautifulSoup
def get_novel_content(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
content = soup.select('#content')[0].text.strip()
return content
if __name__ == '__main__':
novel_url = 'https://www.xxxx.com/xxxx'
novel_content = get_novel_content(novel_url)
print(novel_content)

代码说明：

我们首先导入了requests和BeautifulSoup库，它们分别用于发起Http要求和解析Html页面

在get_novel_content方法中，我们使用requests库发起一个get要求，将小说页面的响应内容获得下来。

接下来，我们使用BeautifulSoup库对响应内容进行解析，从中提取小说内容。这里我们使用了CSS选择器，用于选取Html页面中的特定元素。

在这个例子中，我们选取了一个id为content的元素，并通过其text属性获得了小说的内容。

最后，将获得到的小说内容打印出来。