很多时候用到抓取网页数据的功能，以前工作中曾经用到过，今天总结了一下： 许多那时候采用抓取网页数据的作用，搜狗官网之前工作上以前采用过，今日小结了一下下： 1、抓取网页数据根据特定的URL，得到网页页面信息内容，从而对网页页面用DOM开展 NODE剖析，解决获得初始HTML统计数据，那样做的优点取决于，解决一段统计数据的协调能力高，难题在节优化算法必须提升，在网页页面HTML信息内容大时，优化算法不太好，会危害解决高效率。 2、htmlparser架构，对html网页页面解决的数据结构，HtmlParser选用了經典的Composite方式，根据RemarkNode、TextNode、TagNode、AbstractNode和Tag来叙述HTML网页页面各原素。Htmlparser大部分可以满足垂直搜索引擎网页页面解决剖析的要求，投射HTML标识，可便捷获得标识内的HTML CODE。 Htmlparser 官方网详细介绍: htmlparser是1个纯的java写的html分析的库，它不取决于其他的java库文件，主要用于更新改造或获取html。它能快速分析html，并且不容易错误。如今htmlparser最新版为2.0。绝不生动地说，htmlparser就是说现阶段最好是的html分析和剖析的专用工具。 3、nekohtml 架构，nekohtml在容错性、特性等层面的用户评价上比htmlparser好(包含htmlunit也用的是nekohtml)，nokehtml 相近XML分析基本原理，把html标识确析为dom, 对他们相匹配于DOM树中相对的原素开展解决。 NekoHTML官方网详细介绍：NekoHTML是1个Java語言的 HTML扫码器和标识补齐器(tag balancer) ,搜狗官网促使程序流程能分析HTML文本文档合用规范的XML插口来浏览在其中的信息内容。这一在线解析可以扫描仪HTML文档并“调整”很多创作者(人或设备)在撰写HTML文本文档 全过程中常会犯的不正确。 NekoHTML能增选缺少的父原素、全自动用完毕标识关掉相对的原素，及其不配对的嵌入原素标识。NekoHTML的开发设计应用了 Xerces Native Interface (XNI)，后面一种是Xerces2的保持基本。 |
