总结一次kafka的consumer消费能力很低的处理方案

问题

项目使用spring-kafka操作消费kafka
近期出现消费速度变慢，consumer消费一条数据平均需要200ms的时间，并且频繁发生，consumer会停止消费十几秒。

成都创新互联服务项目包括文昌网站建设、文昌网站制作、文昌网页制作以及文昌网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，文昌网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到文昌省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

日志分析

以下为日志记录，consumer会时长从消费组中掉出再重新加入

o.a.k.c.c.i.AbstractCoordinator:542 - Marking the coordinator 127.0.0.1:9092 (id: 2147483643 rack: null) dead for group group.id 
o.a.k.c.c.i.AbstractCoordinator:505 - Discovered coordinator 127.0.0.1:9092 (id: 2147483643 rack: null) for group group.id. 
o.a.k.c.c.i.ConsumerCoordinator:292 - Revoking previously assigned partitions [topic-12] for group group.id 
o.a.k.c.c.i.AbstractCoordinator:326 - (Re-)joining group group.id 
o.a.k.c.c.i.AbstractCoordinator$SyncGroupResponseHandler:434 - Successfully joined group group.id with generation 12182 
o.a.k.c.c.i.ConsumerCoordinator:231 - Setting newly assigned partitions [topic-12] for group group.id 

解决方案

kafka服务配置文件server.properties提高系统配置参数

#Broker处理消息的最大线程数
num.network.threads=cpu核数加1
#Broker处理磁盘IO的线程数
num.io.threads=cpu核数2倍，最大不超过3倍

备份并重启kafka服务

当前标题：总结一次kafka的consumer消费能力很低的处理方案
网站URL：http://6mz.cn/article/pgjdjj.html