python Faust流处理库的介绍

963次阅读
没有评论

python

1、概念

Faust是robinhood在Github上开源的Python流处理库。目前版本是1.10.4。

Faust将KafkaStreams的概念带入Python,并提供流程处理和事件处理模式。Faust使用纯Python,开发人员可以使用NumPy、PyTorch、Pandas等库进行数据处理。

Faust具有简洁优雅、使用简单、性能优异、可用性高、分布式、灵活性高的特点。目前,Faust已用于构建高性能分布系统和实时数据管道。

2、安装方法

Faust需要Python3.6以上,需要可用的Kafka>=0.10服务。使用pip安装:

$ pip install -U faust

一些额外的特性需要额外的依赖,比如rocksdb,可以作为Faust在生产环境中的存储,也可以作为Redis在打开缓存时使用。

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-04-26发表,共计354字。
新手QQ群:570568346,欢迎进群讨论 Python51学习