【从零开始学爬虫】采集全球海关进出口新闻数据
|采集网站
【场景描述】采集全球进出口海关数据。
【源网站介绍】海关数据网提供全球200多个国家的海关数据及在线查询分析系统，贸易流向数据、进出口统计数据和进出口研究报告。
【使用工具】前嗅ForeSpider数据采集系统，免费下载:
http://www.forenose.com/view/forespider/view/download.html
|采集网站
【入口网址】
http://hgsj.com/News/149.html
【采集内容】
采集全球各个国家最新进出口海关数据,新闻信息。
【采集效果】如下图所示：
|思路分析
配置思路概览：
|配置步骤
1.新建采集任务
选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。
选择【抽取链接】的所有链接，勾选【列表链接】【普通翻页】，然后点击【完成】。
可在页面看到网站信息
2.获取翻页链接
点击【采集预览】，可看到所有链接
①在入口页搜索选择不同页数，发现不同页数搜索结果的链接，得出页数链接的拼接规则为：
http://hgsj.com/News/149_+页码.html
②在【模板抽取配置】选择频道（即任务名称），选择【脚本窗口】，将页数搜索配置在频道处即可。
③具体配置脚本如下：
一共包含17页
【代码】如下：
url u;
for(vari =1;i<=17;i++){
u.urlname ="http://hgsj.com/News/149_"+i+".html";
u.title ="第"+i+"页";
u.tmplid =1;RESULT.AddLink(u);
}
④点击【保存】，点击【采集预览】，即可看到配置效果。
显示所有页
3.链接抽取
这一步是在获取的翻页链接中，提取每页全部新闻链接：
①点击【列表链接】。
②采用地址过滤的方法来抽取表一链接，具体如下所示：
点击【采集预览】，先观察标题链接规律，找到规律，很明显标题链接中都包含：http://hgsj.com/News/
然后设置地址过滤，过滤包含“/News”的链接，这样就把列表链接过滤出来了。
③关联模板，点击【列表链接】抽取，关联模板02。
4.数据抽取
①链接抽取完成进入数据页，在原有模板基础上添加数据抽取，点击【列表模板】然后点击【添加数据抽取】按钮。
②此时要完成数据建表的工作：
a.选择【数据建表】，点击【采集数据表结构】中的【+】，即可添加表单，名称可以自定义。
b.另外需要注意，每一个表单都需要配置主键字段，需要使用脚本的字段，在高级类型中选择脚本取值才可进行脚本操作。
id字段设置如下
c.其它字段根据实际需求配置即可。
新闻标题title字段配置如下
页:
[1]