博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
kafka生产消息的速度跟什么有关?
阅读量:6117 次
发布时间:2019-06-21

本文共 492 字,大约阅读时间需要 1 分钟。

kafka的吞吐量很大,在保证带宽的情况下,网上的一些测试表明3台broker,没有replication,6个partition的情况下,一般的写入速度可以达到300MB/s。参考:

kafka生产消息的速度和什么相关又和什么不相关呢?

相关项:

1,producer线程数:这个不言而喻,多个生产者肯定比一个生产者要快得多。

2,同步发送还是异步发送:一般异步发送要快,速度可以提倍。batch的大小也可能绝对速度的大小,毕竟减少了磁盘的IO。当然,如果kafka的生产场景中生产消息的速度并不快,那就真没必要使用异步发送了。

几乎不相关项:

1,每个producer线程处理一个partition会不会加快速度呢?原以为速度会增快,毕竟不需要切换分区了嘛,然而naive具体原因我还不清楚,不过实际测试发现这样并不会显著增快kafka的生产速度。也许得益于kafka生产消息切换分区的频率不高。

——随机写分区跟设计每个线程(或者多个)写一个分区之间的速度没有明显差异。

2,

转载于:https://www.cnblogs.com/chen-kh/p/6234618.html

你可能感兴趣的文章
Jenkins持续集成环境部署
查看>>
emoji等表情符号存mysql的方法
查看>>
检查磁盘利用率并且定期发送告警邮件
查看>>
MWeb 1.4 新功能介绍二:静态博客功能增强
查看>>
linux文本模式和文本替换功能
查看>>
Windows SFTP 的安装
查看>>
摄像机与绕任意轴旋转
查看>>
rsync 服务器配置过程
查看>>
预处理、const与sizeof相关面试题
查看>>
爬虫豆瓣top250项目-开发文档
查看>>
Elasticsearch增删改查
查看>>
oracle归档日志增长过快处理方法
查看>>
有趣的数学书籍
查看>>
teamviewer 卸载干净
查看>>
多线程设计模式
查看>>
解读自定义UICollectionViewLayout--感动了我自己
查看>>
SqlServer作业指定目标服务器
查看>>
UnrealEngine4.5 BluePrint初始化中遇到编译警告的解决办法
查看>>
User implements HttpSessionBindingListener
查看>>
抽象工厂方法
查看>>