火车采集器帮助文档 --> 从页面自动分析得到地址链接
火车采集器  帮助文档

多级网址获取就是获取起始网址页面内的地址。

根据上面“添加起始网址”这个教程我们已经告诉采集器入口地址,我们一般采集的信息都是有选择性的并不是所有的信息都是要采集,比如我们采集腾讯新闻中的各地新闻地址,起始地址是:http://news.qq.com/newsgn/gdxw/gedixinwen.htm

我们只要采集的是左侧的新闻列表,其他位置的内容都不是我们想要的如下图:

也就是说采集的范围我们要告诉采集器,不然采集器就会把起始地址下面的地址全部都采集到,下面来讲这些在采集器里面是如何设置的。

第一步是打开设置多级网址获取规则的界面如下图操作

然后就打开多级网址获取规则的界面了如下图

上图可以看到 网址获取选项那里下面有3个选项分别是“从页面自动分析得到地址链接”,“手动填写链接地址规则”,“使用Xpath方式获取地址”。下面就这个3种方式进行讲解下。

从页面自动分析得到地址链接

这种方式获取地址是告诉采集器一个采集范围,采集器会把这个范围内的链接地址全部采集到,上图“从该选定区域中提取网址”这个就是写范围的。有的时候可能采集的结果有些是我们不想要的,那么上图的“结果网址过滤”就可以设置地址中必须包含字符或者不得包含的字符。

我们就采集http://news.qq.com/newsgn/gdxw/gedixinwen.htm 这个地址下面的新闻列表为例来设置说明下。我们首先打开这个页面,然后页面右击查看页面源代码。如下图

大家先看下打开的源文件 是不是很多页面上的信息都可以看源文件里看到。那么就找下我们要采集的新闻在那里,上图我们看到第一篇新闻的标题是“雨雪大风降温雷暴交集侵袭安徽中南 40万人受灾”,这里注意下这个新闻是及时更新的,当你看到这篇教程的时候第一篇文章标题早就不是这个了,这里大家注意。方法是一样的,大家要会举一反三。我们可以复制这个标题去页面源代码里出查找看看在什么位置如图:

 上图注意下红框框出来的字符,这串字符复制在页面源代码里向上查找一下,发现查找不到也就是说这串字符是在页面源文件第一次出现(这个很重要,必须是第一次出现),下面就是我们要采集的新闻内容的地址。这串字符就是这个区域的开始。

用上面同样的办法查找最后一篇文章所在位置,找到这个区域的结束如下图:

 

 最后一篇文章结束位置找一串字符做为结束,这里是可以随意的,只要保证从我们上面说的开始字符开始第一次出现的就可以了,我这类找的是</div>,你同样可以找别的。

这里我们就把开始字符和结束字符找到了,现在添加到采集器里面。 如下图:

这样就填写好了 最后点击右下角的“保存”按钮就可以了。添加成功界面如下:

我们点击右下角的“测试网址采集”按钮,来看看我们设置规则的采集器规则是否正确。

 

 

上图可以看到已经成功采集到新闻页面的地址了

 

 

上一篇   下一篇