python 爬取58

随着互联网的快速发展，线上租房、买卖房屋的需求愈来愈大，因此很多网站出现出来，其中以58.com为代表。怎样快速地获得58网站的房源信息？使用Python爬虫是目前非常流行和便捷的方式。

Python爬虫利用“request+beautifulsoup”库，摹拟人类访问网站，自动化地获得网站上的信息。58网站的房源信息是以列表情势显现的，因此我们可以通过检查网站的HTML代码来找到我们需要爬取的部份。在这份文章中，我们将使用Python爬虫来爬取58网站的房源信息。

# 援用需要的库
import requests
from bs4 import BeautifulSoup
# 要求URL并把结果用BeautifulSoup解析
url = 'https://bj.58.com/chuzu/'
web_data = requests.get(url)
soup = BeautifulSoup(web_data.text, 'lxml')
# 找到信息所在的节点位置
house_list = soup.select('ul.house-list >li')
# 解析节点中的信息
for house in house_list:
# 获得房源标题
title = house.select('div.des >h2 >a')[0].text
# 获得房源价格
price = house.select('div.list-info >div.money >b')[0].text
# 获得房源联系人
name = house.select('div.des >p >a')[0].text.strip()
# 获得房源联系方式
phone = house.select('div.des >p >span')[0].text
# 输出解析结果
print('标题：', title)
print('价格：', price)
print('联系人：', name, '电话：', phone)

在这段代码中，我们首先要求58网站的租房页面，并使用BeautifulSoup解析器把返回的HTML代码解析成可以操作的对象。然后，我们找到房源信息的位置，并使用“select”方法和CSS选择器来提取节点中所需的信息。最后，我们把取得的信息打印出来。

通过这份代码，我们可以获得到58网站上所有房源的标题、价格、联系人和联系方式。值得注意的是，爬取网站信息需要注意法律法规和网站公约，避免触犯相关法律。