python 爬全部网页

Python是一种非常强大的编程语言，可以用来编写各种各样的利用程序和脚本。其中一项常见的利用就是用Python爬取网页数据，这一技术被广泛利用于网站开发、数据分析和机器学习等领域。

通常情况下，我们爬取网页都是针对一个特定的网站或页面进行的。但是有时候我们需要爬取全部网站的数据，这时候候就需要编写一些特殊的程序了。

import requests
from bs4 import BeautifulSoup
import re
def get_all_links(url):
links = []
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
for link in soup.find_all('a', href=re.compile('^/')):
if 'href' in link.attrs:
links.append(link.attrs['href'])
return links
def crawl_site(start_url):
queue = [start_url]
crawled = set()
while queue:
url = queue.pop(0)
if url in crawled:
continue
links = get_all_links(url)
for link in links:
if link.startswith('/'):
link = start_url + link
if link not in queue and link not in crawled:
queue.append(link)
crawled.add(url)
print(url)
if __name__ == '__main__':
start_url = input('请输入你要爬取的网站根URL：')
crawl_site(start_url)

上述Python程序是一个简单的爬虫程序，它可以爬取指定网站下的所有网页。首先，我们需要定义一个函数get_all_links()，该函数输入一个网页URL，输出该网页中所有以斜杠开头的相对URL地址。然后，我们使用一个队列和一个集合来实现爬取网站所有页面的操作。

当我们运行这个程序时，程序会首先询问我们要爬取的网站根URL，然后开始爬取该网站下的所有页面，将其网页地址打印到控制台。

需要注意的是，这个程序并没有做任何的网页解析和数据抓取，它只是简单地将所有网页地址输出到控制台。如果需要进一步处理网页数据，我们需要针对具体的网站进行相应的解析和抓取操作。