Twitter今天在GitHub上的开源Apache许可下释放其苍鹭实时流处理引擎。Twitter首次发布了一篇文献苍鹭去年苍鹭,但该软件一直是专有的,直到现在。
赫朗是用C ++,Java和Python编写的,这是一个推动的Twitter建造的风暴流处理引擎,然后在2011年开放。赫隆相对于风暴提供了相当大的性能。
“赫隆是一个流星系统,诞生了我们所面临的挑战,因为正在处理的数据的数量和普遍性的增加,以及实时分析的使用情况数量,”Twitter Engineering Manager Karthik Ramasamy写道博客帖子。“我们需要一个更好地缩放的系统,更容易调试,具有更好的性能,更容易部署和管理,并在共享的多租户群集环境中工作。”
Twitter已使用该软件超过两年多。但这不是唯一与苍鹭合作的公司。Ramasamy写道,Microsoft在Hadoop开源大数据软件的纱线群集管理组件的顶部运行了一个运行的版本。他补充说,使用案例范围从提取 - 转换加载(ETL)到广告竞标,甚至增强现实。
这只是Twitter的最新开源版本,之前已经共享了困难,烫伤和汇总鸟。其他大型网络公司还经常开源他们的工具。还有其他实时流处理系统可用,包括Apache Flink和Apache Spark Streaming。
Ramasamy写道,Twitter可能最终将独立的基础 - 像Apache软件基金会一样 - 负责苍鹭项目。