【308期】面试官:为什么kafka效率这么高?

>>强大,10k+点赞的 SpringBoot 后台管理系统竟然出了详细教程!

【308期】面试官:为什么kafka效率这么高?

kafka的IO效率这么高的原因:

(1)第一个是在写入数据的时候第一个就是因为kafka是顺序写入数据的,把普通的那种随机IO变成了顺序IO,这样的话写入数据的速度就比较快

(2)第二个就是kafka读取数据的时候是基于sendfile实现Zero Copy

传统的数据读取的流程是:

  1. 基于sendfile实现Zero Copy调用read函数,文件数据被copy到内核缓冲区
  2. read函数返回,文件数据从内核缓冲区copy到用户缓冲区
  3. write函数调用,将文件数据从用户缓冲区copy到内核与socket相关的缓冲区。
  4. 数据从socket缓冲区copy到相关协议引擎。

但是kafka的读取时这样的:

  1. sendfile系统调用,文件数据被copy至内核缓冲区
  2. 再从内核缓冲区copy至内核中socket相关的缓冲区
  3. 最后再socket相关的缓冲区copy到协议引擎

(3)第三个就是kafka的数据压缩,Kafka使用了批量压缩,即将多个消息一起压缩而不是单个消息压缩

下面这个图就是传统的数据读取:

【308期】面试官:为什么kafka效率这么高?

这个是kafka使用的零拷贝的数据读取:

【308期】面试官:为什么kafka效率这么高?

(4)第二个就是kafka的生产者在进行生产消息的时候,采用的是批量发送和双线程,其实就是使用了双线程,主线程和Sender线程。

主线程负责将消息置入客户端缓存,Sender线程负责从缓存中发送消息,而这个缓存会聚合多个消息为一个批次。有些消息中间件会把消息直接扔到broker。

感谢阅读,希望对你有所帮助 🙂 

来源:blog.csdn.net/qq_36520235/article/details/89841798

END

题外推荐

推荐一个“摸鱼程序员”聚集地


【308期】面试官:为什么kafka效率这么高?

【301期】面试官:dubbo为什么没有采用jdk的spi机制?

【302期】面试官:幂等性的接口该如何设计?

【303期】如何理解算法中的时间复杂度?

【304期】堆排序算法(图解详细流程)

【305期】面试官:Redis用过是吧?那你讲讲Redis都有哪些监控指标?

【306期】面试官:解决集群环境下定时任务多次执行的办法有哪些?

【307期】面试官:什么是NIO?NIO的原理是什么?


与其在网上拼命找题? 不如马上关注我们~

【308期】面试官:为什么kafka效率这么高?

PS:因为公众号平台更改了推送规则,如果不想错过内容,记得读完点一下“在看”,加个“星标”,这样每次新文章推送才会第一时间出现在你的订阅列表里。“在看”支持我们吧!

原文始发于微信公众号(Java面试题精选):【308期】面试官:为什么kafka效率这么高?