|浅谈Kafka2.8+在Windows下的搭建与使用( 二 )




(2).kafka启动
kafka-server-start.bat ..\\..\\config\\server.properties &


(3). 其他命令
查看所有topicskafka-topics.bat --list --zookeeper localhost:2181

新增topics kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Kafka存储机制:

  • topic中partition存储分布
  • partiton中文件存储方式
  • partiton中segment文件存储结构
  • 在partition中通过offset查找message
图形化工具:前期可以借助图形化工具快速具象的查看kafka的消息数据 , 也能便于理解其基本操作流程 。 以下推荐一块桌面端工具——offsetexplorer , 可以在网上搜索下载 , 当然web控制台也不错 , 比如kafka manager 。
1. kafka连接


(2). Cluster name查看
这个值如果没有设置的情况是生成的 , 可以在启动日志中查看 , 根目录/logs/server.log

(3). Topics查看
通过运行一下新增topics或新增消息后就可以在Offset Explorer查看了 , 更多的使用方法也可以在网上找到 。


PHP操作:1. 下载依赖
composer require nmred/kafka-php

2.  生产者 Producer.php

3. 消费者 Consumer.php

Scala操作:1.  创建基于Maven的Scala项目
(1). 创建

(2). 添加模板(没有模板的前提)
可以网上搜索Scala-archetype-simple的位置并填写 。

(3). 完成创建等待IDE自动构建


(4). 给项目添加Scala SDK依赖



2. 配置
(1). 修改pom.xml的scala版本为本地安装scala对应的号 。
(2). Cannot resolve plugin org.scala-tools:maven-scala-plugin: unknown解决方法

添加一下依赖后再Maven刷新3. 添加kafka依赖


4. 创建消费者


5. 创建消费者


相关经验推荐