随便撸(www.suibianlu.com)精品网站源码,织梦建站模版,游戏源代码分享平台

webmagic垂直爬虫 v0.7.2

时间:2020-08-13[其他免费源码]作者:随便撸

webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。


webmagic的主要特色:

1、完全模块化的设计,强大的可扩展性。

2、核心简单但是涵盖爬虫的全部流程,灵活而强大,也是学习爬虫入门的好材料。

3、提供丰富的抽取页面API。

4、无配置,但是可通过POJO+注解形式实现一个爬虫。

5、支持多线程。

6、支持分布式

7、支持爬取js动态渲染的页面。

8、无框架依赖,可以灵活的嵌入到项目中去。

webmagic垂直爬虫 v0.7.2 第1张

本文标签:webmagic  垂直爬虫框架  java爬虫框架  爬虫开发框架 

转载请注明来源:webmagic垂直爬虫 v0.7.2

本文永久链接地址:https://www.suibianlu.com/21021.html

郑重声明:
本站所有内容均由互联网收集整理、网友上传,并且以计算机技术研究交流为目的,仅供大家参考、学习,不存在任何商业目的与商业用途。
若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。 我们不承担任何技术及版权问题,且不对任何资源负法律责任。
如无法链接失效或侵犯版权,请给我们来信:admin#suibianlu.com

Top