庄周梦蝶

生活、程序、未来
   :: 首页 ::  ::  :: 聚合  :: 管理

抽取网页数据的不同思路

Posted on 2007-11-22 12:35 dennis 阅读(1150) 评论(1)  编辑  收藏 所属分类: javamy open-source
    客户要求从Internet上的网页上抽取一定的数据,用来显示或者其他用户,这个需求很常见。这两天我们也遇到了这个需求,本来我一开始想是试用正则表达式去匹配需要的文本数据,后来经验丰富的经理给出了一个更好的思路,就是使用jtidy将不符合xhtml的HTML文件转化成标准的xhtml文件——本质上就是XML文件,然后利用xsl抽取并转换成我们所需要的数据的一定格式的xml文件。这样做其实就是将XSL模板当正则表达式来用,不过更清晰,当网页改变时也不需要重新编译代码,仅仅修改XSL模板就够了。过程如下:
     html->xhtml--xsl-->数据xml

    做的过程中,初次使用了xsl,xpath等技术,网上找了不少好资料,共享下:
jtidy: 

思路来源
http://www.ibm.com/developerworks/cn/xml/x-wbdm/

项目地址
http://jtidy.sourceforge.net/

参考,解决中文问题使用
http://www.blogjava.net/jhengfei/archive/2006/03/25/37312.html

xsl,非常系统教程和实践:

http://www.cnblogs.com/goody9807/category/36016.html

xpath:

http://www.yesky.com/201/171201.shtml



评论

# re: 抽取网页数据的不同思路  回复  更多评论   

2009-08-29 16:45 by Fuller
在我的gooseeker网站上有关于使用XSLT抽取网页内容的很多资料,我开发的网页抓取/数据抽取软件工具包MetaSeeker就是在客户端用XSLT抽取网页内容的,软件可下载

只有注册用户登录后才能发表评论。


网站导航: