python 爬网站源码

Python 是一种经常使用的程序设计语言，具有简洁易懂的语法和强大的支持库，许多开发者使用它来编写爬虫程序，以便利用网络资源获得数据。爬取网站源码是一种常见的爬虫技术，下面我们将介绍使用 Python 编写爬取网站源码的方法。

首先，我们需要导入 Python 的 requests 库，它是一种 HTTP 库，可以方便地向网站发送 HTTP 要求，并得到返回的数据。

import requests
url = 'http://example.com'
response = requests.get(url)
if response.status_code == 200:
print(response.content)
else:
print('Error: ', response.status_code)

上述代码导入 requests 库后，使用 requests.get() 方法向指定网站发送 GET 要求，并将输出结果赋给 response 变量。status_code 属性可以获得网站返回的 HTTP 状态码，200 表示要求成功。如果要求成功，使用 content 属性输出网站源码；否则输出毛病信息。

如果网站需要用户登录才能访问，那末需要在要求进程中提供正确的登录信息。我们可使用 Python 的 session 对象来保持一些要求之间的状态信息，以便于保护登录状态。下面的代码演示了怎样使用 session 对象进行登录，并爬取登录后的页面源码。

import requests
# replace with real username and password
username = 'example_username'
password = 'example_password'
# create session object
session = requests.session()
# login
login_url = 'http://example.com/login'
login_data = {'username': username, 'password': password}
session.post(login_url, data=login_data)
# crawl after login
url = 'http://example.com/profile'
response = session.get(url)
if response.status_code == 200:
print(response.content)
else:
print('Error: ', response.status_code)

上述代码使用 session 对象保持登录状态，先发送一次 POST 要求进行登录，再使用 GET 要求获得登录后的页面源码。session.post() 方法负责登录，login_data 参数是一个字典，包括了用户名和密码信息。GET 要求的时候使用 session.get() 方法，保证能够保持登录状态。使用 content 属性输出网站源码，和之前的方法一样。

以上就是使用 Python 编写爬取网站源码的方法。需要注意的是，在爬虫时需要遵守网站的爬虫规则，严禁歹意爬取、侵犯用户隐私等行动。