随便撸(www.suibianlu.com)精品网站源码,织梦建站模版,游戏源代码分享平台

PiFlow大数据流水线系统 v0.9

时间:2020-12-07[其他免费源码]作者:随便撸

PiFlow一个简单易用,功能强大大数据流水线系统。包含丰富的处理器组件,提供Shell、DSL、Web配置界面、任务调度、任务监控等功能。


特性:

1、简单易用

可视化配置流水线。

监控流水线。

查看流水线日志。

检查点功能。

2、扩展性强:

支持自定义开发数据处理组件。

3、性能优越:

基于分布式计算引擎Spark开发。

4、功能强大:

提供100+的数据处理组件。

包括Hadoop 、Spark、MLlib、Hive、SolrRedis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。

集成了微生物领域的相关算法。


环境要求:

JDK 1.8

Spark-2.11.8

Apache Maven 3.1.0

Spark-2.1.0 及以上版本

Hadoop-2.6.0

PiFlow大数据流水线系统 v0.9 第1张PiFlow大数据流水线系统 v0.9 第2张PiFlow大数据流水线系统 v0.9 第3张

本文标签:PiFlow  大数据流水线系统 

转载请注明来源:PiFlow大数据流水线系统 v0.9

本文永久链接地址:https://www.suibianlu.com/22209.html

郑重声明:
本站所有内容均由互联网收集整理、网友上传,并且以计算机技术研究交流为目的,仅供大家参考、学习,不存在任何商业目的与商业用途。
若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。 我们不承担任何技术及版权问题,且不对任何资源负法律责任。
如无法链接失效或侵犯版权,请给我们来信:admin#suibianlu.com

Top