海量数据实时计算利器Tec

  • 时间:
  • 浏览:0
  • 来源:大发彩神UU快三_大发神彩UU快三官方

Pora怎么才能 才能 能在这么巨大的压力下不延迟?除了其在业务层面所做的种种优化以及集群层面的有力支持外,与其核心层Tec的设计实现是分不开的。

在以前过去的2015年双11大促中,搜索事业部的实时计算和在线学习系统Pora经受住了前所未有的双11巨量用户行为消息的冲击,在流入实时消息量持续超过100w/s,甚至峰值飙升至1001w/s的压力下始终保持了端到端秒级实时效果,助力相关的搜索和推荐实时业务取得了很好的效果。

另根小全部不同的战线上,AliExpress(AE)搜索的离线数据库Dump业务在双11期间实现了从几小时批量到秒级实时的历史性飞跃,同時 做到了全量增量一体化。得益于离线实时化,AE算法在双11中也取得了惊艳的效果。

Tec是针对海量流式数据实时计算

与Pora相同的是,AE的离线新架构中也采用了Tec进行实时计算。