【从零开始学爬虫】采集全球海关进出口新闻数据

JoshWindsor · 发表于 2023-2-13 20:56

|采集网站

【场景描述】采集全球进出口海关数据。

【源网站介绍】海关数据网提供全球200多个国家的海关数据及在线查询分析系统，贸易流向数据、进出口统计数据和进出口研究报告。

【使用工具】前嗅ForeSpider数据采集系统，免费下载:

http://www.forenose.com/view/forespider/view/download.html

|采集网站

【入口网址】

http://hgsj.com/News/149.html

【采集内容】

采集全球各个国家最新进出口海关数据,新闻信息。

【采集效果】如下图所示：

|思路分析

配置思路概览：

|配置步骤

1.新建采集任务

选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。

选择【抽取链接】的所有链接，勾选【列表链接】【普通翻页】，然后点击【完成】。

可在页面看到网站信息

2.获取翻页链接

点击【采集预览】，可看到所有链接

①在入口页搜索选择不同页数，发现不同页数搜索结果的链接，得出页数链接的拼接规则为：

http://hgsj.com/News/149_+页码.html

②在【模板抽取配置】选择频道（即任务名称），选择【脚本窗口】，将页数搜索配置在频道处即可。

③具体配置脚本如下：

一共包含17页

【代码】如下：

url u;

  for(vari =1;i<=17;i++){

  u.urlname ="http://hgsj.com/News/149_"+i+".html";

  u.title ="第"+i+"页";

  u.tmplid =1;RESULT.AddLink(u);

  }

④点击【保存】，点击【采集预览】，即可看到配置效果。

显示所有页

3.链接抽取

这一步是在获取的翻页链接中，提取每页全部新闻链接：

①点击【列表链接】。

②采用地址过滤的方法来抽取表一链接，具体如下所示：

点击【采集预览】，先观察标题链接规律，找到规律，很明显标题链接中都包含：http://hgsj.com/News/

然后设置地址过滤，过滤包含“/News”的链接，这样就把列表链接过滤出来了。

③关联模板，点击【列表链接】抽取，关联模板02。

4.数据抽取

①链接抽取完成进入数据页，在原有模板基础上添加数据抽取，点击【列表模板】然后点击【添加数据抽取】按钮。

②此时要完成数据建表的工作：

a.选择【数据建表】，点击【采集数据表结构】中的【+】，即可添加表单，名称可以自定义。

b.另外需要注意，每一个表单都需要配置主键字段，需要使用脚本的字段，在高级类型中选择脚本取值才可进行脚本操作。

id字段设置如下

c.其它字段根据实际需求配置即可。

新闻标题title字段配置如下

		自动登录	找回密码
密码			立即注册

【从零开始学爬虫】采集全球海关进出口新闻数据

本帖子中包含更多资源