记一次网站数据定向爬取实现

by:授客 QQ：1033553122

测试环境：

Python版本：Python 3.4

Win7

 

请勿用于商业及非法用途，仅供学习研究用，否则后果自负

 

 

数据爬取场景

如下，打开网站查询页面，输入关键字，点击查询

 

 

如上图，如果记录数比较多，还会有翻页按钮出现

 

 

 

 

如上图，右侧还有个最新资助列表，和左侧记录是同一个性质

 

如下图，点击列表记录，打开以下界面

 

 

 

数据爬取需求：获取上述红色选框部分的数据，因为记录检索可能比较多，可能有几百页，所以还要求可以只获取指定翻页数量

 

程序实现思路

1、获取关键字查询url

/index.php?m=&c=Search&a=index&keyword=丰巢&hash=dkFMbUhBTkJIPTNCRjc3Z09yczZVOWRONS1xRE89cU9JPThkTnYzeEM5MW1U&__hash__=77b9003885166213582f27c5e6098d21_53f9dce8d49ffef0259a38cb6a6a3c8b&p=1

 

2、获取记录页面访问url

 

3、获取数据

 

4、翻页查询，并重复1-3

由第1点可知，翻页查询仅需要替换 &p=1中的数字

 

需要注意的地方，就是要过滤右侧的 最新资助 列表中的记录链接，另外，要控制翻页数，所以访问xxx……&p=1的链接时，就要获取总记录数，然后计算总的翻页数量

 

实现效果

 

 

 

代码下载

https://pan.baidu.com/s/1HJkGUgyZOxkjTNpPBrJKzA