2008-02-26

我爬、我爬、我爬爬爬......

前一段时间写了一段抓取网页的程序，感到这个很简单，最近要搜寻网上信息，于是也打算写一个程序来做这件事，不过这次涉及到多个网站，格式很不规则，写来写去，貌似变成一个垂直爬虫了，略有心得，凑一篇博客吧。

作为一个java程序员，我选择最简单的方式──用ruby来做，使用的技术储备包括：
1. 任务编写工具，用rake就足够了，很方便
2. html解析器：用Hpricot，它支持各种定位方式，据说底层用C，因此性能不错
3. 另外还要一些支持库：例如地址处理使用uri、网页抓取使用net/http，编码转换使用iconv等等。

既然是爬虫，那么通过网页上的链接进行网页抓取是基本功能，显然，这是一个图遍历的问题，老规矩，两个思路──深度优先和广度优先。标准做法应该是这样：

深度优先：
1. 用户程序员给出入口网址。
2. 将网址放入“已处理链接”的列表中
3. 根据刚才这个网址取得网页，分析网页，取得上面的其它链接。
3. 对每一个链接进行过滤检查，对符合条件的链接执行步骤一开始的操作，否则结束。
4. 得到网址列表。

广度优先：
1.用户程序员给出网址。
2.将网址放入“待处理链接”列表中。
3.遍历“待处理链接”列表，对每一个地址执行如下操作：
3.1. 根据地址取得网页
3.2. 分析网页，获得上面的链接
3.3. 过滤每一个链接，符合条件的添加到“待处理链接”列表中
3.4. 将此地址移入“已处理链接”的列表中
4. 如果“待处理链接”列表为空，则结束，否则重复步骤三。
5. 结束后得到网址列表

这一段是照本宣科，我懒，所以下回接着写，呵呵
评论
发表评论

您还没有登录，请登录后发表评论

fsword
搜索本博客
存档
最新评论