前一段时间写了一段抓取网页的程序，感到这个很简单，最近要搜寻网上信息，于是也打算写一个程序来做这件事，不过这次涉及到多个网站，格式很不规则，写来写去，貌似变成一个垂直爬虫了，略有心得，凑一篇博客吧。
作为一个java程序员，我选择最简单的方式──用ruby来做，使用的技术储备包括：
1. 任务编写工具，用rake就足够了，很方便
2. html解析器：用Hpricot，它支持各种定位方式，据说底层用C，因此性能不错
3. 另外还要一些支持库：例如地址处理使用uri、网页抓取使用net/http，编码转换使用iconv等等。
既然是爬虫，那么通过网页上的链接进行网页抓取是基本功能，显然，这是 ...
fsword
- 浏览: 20227 次
- 性别:
- 来自: 上海
- 详细资料
搜索本博客
最新评论
-
prototype确实实用
其实感觉还是有问题的,极端点,这个Ajax.Updater是同步的,并且希望up ...
-- by afcn0 -
prototype确实实用
也许是为了解决浏览器的某些bug吧，要不然他大可不必延迟执行。或许，是为了起一个 ...
-- by 笨笨狗 -
prototype确实实用
不过其setTimeout(function() {html.evalScrip ...
-- by afcn0 -
prototype确实实用
Prototype是我的js学习榜样，嘿嘿这个自动执行js是可以通过evalSc ...
-- by 笨笨狗 -
prototype确实实用
fsword 写道今天解决一个bug时花了很长时间分析定位。<br /> ...
-- by ddh9504
评论排行榜