对于数据密集型应用来说,如何应对数据量激增、数据复杂度增加以及数据变化速率变快,是彰显大数据工程师、架构师功力的最有效表征。Kafka 在应对这些问题方面能起到非常好的效果。就拿数据量激增来说,Kafka 能够有效隔离上下游业务,将上游突增的流量缓存起来,以平滑的方式传导到下游子系统中,避免了流量的不规则冲击。
资深大数据架构师李希沅主讲的《Kafka消息引擎底层架构深度剖析》, 深入剖析了 Kafka 的底层架构。
李希沅,前转转公司大数据资深架构师、Hadoop平台负责人,带头研发了公司任务调度平台,即席查询平台等核心平台;前东方国信大数据架构师、大数据技术经理,负责《联通全流量查询平台》《联通IP溯源平台》等多个PB级数据知名项目,曾架构管理联通10000+台机器大数据集群。
上一篇:推进全市大数据产业发展构建全产业链生态体系 下一篇:大数据支撑基层智慧治理体系建设