用python编写的爬虫项目集合
MIT License
(
)\ ) ) ) ( (
(()/( ( ( /( ( /( )\ ( ) ( ( )\ ( (
/(_)))\ ) )\()))\()) ( ( (((_) )( ( /( )\))( ((_) ))\ )(
(_)) (()/( (_))/((_)\ )\ )\ ) )\___ (()\ )(_))((_)()\ _ /((_)(()\
| _ \ )(_))| |_ | |(_) ((_) _(_/(((/ __| ((_)((_)_ _(()((_)| |(_)) ((_)
| _/| || || _|| ' \ / _ \| ' \))| (__ | '_|/ _` |\ V V /| |/ -_) | '_|
|_| \_, | \__||_||_|\___/|_||_| \___||_| \__,_| \_/\_/ |_|\___| |_|
|__/
—————— by yanghangfeng
高清摄影
图片。
唯美意境
模块。
from spiderAPI.dianping import *
'''
citys = {
'北京': '2', '上海': '1', '广州': '4', '深圳': '7', '成都': '8', '重庆': '9', '杭州': '3', '南京': '5', '沈阳': '18', '苏州': '6', '天津': '10','武汉': '16', '西安': '17', '长沙': '344', '大连': '19', '济南': '22', '宁波': '11', '青岛': '21', '无锡': '13', '厦门': '15', '郑州': '160'
}
ranktype = {
'最佳餐厅': 'score', '人气餐厅': 'popscore', '口味最佳': 'score1', '环境最佳': 'score2', '服务最佳': 'score3'
}
'''
result=bestRestaurant(cityId=1, rankType='popscore')#获取人气餐厅
shoplist=dpindex(cityId=1, page=1)#商户风云榜
restaurantlist=restaurantList('http://www.dianping.com/search/category/2/10/p2')#获取餐厅
爬取代理IP
from spiderAPI.proxyip import get_enableips
enableips=get_enableips()
百度地图提供的API,对查询有一些限制,这里找出了web上查询的接口。
from spiderAPI.baidumap import *
citys=citys()#获取城市列表
result=search(keyword="美食", citycode="257", page=1)#获取搜索结果
from spiderAPI.github import GitHub
github = GitHub()
github.login() # 这一步会提示你输入用户名和密码
github.show_timeline() # 获取github主页时间线
# 更多的功能有待你们自己去发掘
from spiderAPI.lagou import *
lagou_spider(key='数据挖掘', page=1) # 获取关键字为数据挖掘的招聘信息