上一篇
Kafka Eagle如何对接MRS？jmx was是啥？
为什么jmx监控was方案里必须引入Kafka Eagle
JMX监控WAS获取的是JVM与WebSphere的内部运行时指标，而Kafka Eagle对接MRS Kafka后，能把分散在各节点的监控数据统一呈现，两者配合才能形成完整的生产链路观测能力。很多团队在独自面对WAS监控时，往往只盯着JDBC连接池或堆内存，忽略了Kafka这层数据管道才是真正的命脉，MRS Kafka作为华为云上托管的消息队列,它自身的健康状态直接决定WAS上下游业务能否顺畅流转。
传统jmx监控was方案的两个死穴
先看纯JMX直连的方式，WAS控制台自带性能查看器，但它的数据保留时间短，无法做历史趋势对比，另一个更麻烦的问题是，WAS的JMX端口多数情况下不对公网开放，你只能在内网跳板机上临时开个隧道去看，这种模式在开发环境凑合能用,放到生产环境就是灾难。
行业共识认为，监控系统的核心价值在于提前发现隐患，而不是事后翻日志，JMX直连缺少告警机制，你不可能24小时盯着JVisualVM的快照，Kafka Eagle的价值就在这里——它本身就是为Kafka集群监控而生的开源工具，能消费JMX暴露的指标，也能直接对接MRS Kafka的broker状态、消费者组延迟、topic分区详情。
架构上怎么理解Kafka Eagle的作用
Kafka Eagle对接MRS Kafka后,承担的是三层职责：
- 采集层：通过JMX轮询MRS Kafka的broker指标，包括消息吞吐量、请求处理耗时、网络线程利用率
- 存储层：把采集到的监控数据写入自己的SQLite或MySQL库，支持按天、按周聚合
- 展示层：Web界面直接画趋势图，设置阈值告警，通过邮件或钉钉推送
这套架构和直接连WAS的JMX端口不冲突，你可以让Kafka Eagle同时监控两条线：一条是WAS暴露的Kafka客户端指标，另一条是MRS Kafka服务端的JMX指标，两条线在同一个Dashboard上对比,就能看出消息生产端和消费端是否匹配。
jmx监控was的实操配置细节
先搞定WAS端的JMX参数
在WebSphere管理控制台里，路径是服务器 → 服务器类型 → WebSphere应用服务器 → 服务器名称 → 管理服务 → JMX,这里要改三个关键项：
- 启用JMX代理，勾选”激活”
- 监听地址填0.0.0，端口建议用固定的1099，不要用默认的动态端口
- 认证方式选”无认证”或配好SSL证书，内网环境无认证更省事
改完保存后必须重启WAS实例，JMX代理才会生效，验证方法很简单，在WAS服务器上执行jconsole <主机IP>:1099能连上就行。
Kafka Eagle与MRS Kafka的对接步骤
Kafka Eagle对接MRS Kafka前，先确认MRS集群的版本，Kafka Eagle 2.0.8以上版本对Kafka 2.x兼容性较好，MRS 3.x系列基本都能配上，核心配置在conf/ke.properties里：
kafka.eagle.zk.cluster.alias=cluster1 cluster1.zk.list=192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181 cluster1.kafka.eagle.broker.size=3 kafka.eagle.sasl.enable=true kafka.eagle.sasl.mechanism=SCRAM-SHA-256
MRS Kafka默认开启SASL认证，你需要先在MRS控制台创建SCRAM用户，拿到用户名和密码后填到conf/system-config.properties里，启动脚本是bin/ke.sh start，启动后访问http://<服务器IP>:8048/ke，默认账号密码是admin/123456,第一次登录会强制改密。
让Kafka Eagle消费WAS的JMX指标
想要在Kafka Eagle里看到WAS上Kafka客户端的生产消费情况，需要做一次指标转发，WAS的JMX接口不直接吐Kafka指标，但JMX的MBean里包含kafka.producer和kafka.consumer的关键数据，Kafka Eagle支持通过JMX轮询方式抓取这些MBean。
在ke.properties里追加：
kafka.eagle.jmx.uri=service:jmx:rmi:///jndi/rmi://<WAS_IP>:1099/jmxrmi kafka.eagle.jmx.user=admin kafka.eagle.jmx.password=your_password
重启Kafka Eagle后，Dashboard上会多出JMX Cluster的标签页，这里能看到WAS节点上所有Kafka客户端的连接数、发送字节速率、拉取延迟等指标。
生产环境部署Kafka Eagle的注意事项
版本兼容性坑点
MRS Kafka如果用的是2.8以上的高版本，Kafka Eagle要选2.0.9或更新版本，老版本对Kafka 2.8新增的kafka.heartbeat指标解析会报错，导致监控面板数据空白，MRS的ZooKeeper默认开启skipACL，Kafka Eagle连接时如果报Authentication failed，记得在ke.properties里加一行：
kafka.eagle.zk.ssl.enable=false
权限与安全规划
Kafka Eagle本身不提供用户权限分级，所有人登录都是管理员，生产环境建议用Nginx做一层反向代理，加Basic Auth认证，Kafka Eagle连接MRS Kafka的账号，权限上只需要READ和DESCRIBE就够了，别给WRITE权限,防止误操作污染线上topic。
存储方面，Kafka Eagle默认用SQLite，数据量上来后读写会锁库，改为MySQL连接，连接串里加useSSL=false,不然MRS的RDS实例会拒绝连接。
常见故障排查路径
| 现象 | 可能原因 | 排查命令 |
|---|---|---|
| 监控面板无数据 | JMX端口未放通 | telnet <WAS_IP> 1099 |
| SASL认证失败 | ke.properties里的mechanism写错 | 核对MRS控制台显示的认证方式 |
| 消费者组看不到 | Kafka Eagle角色权限不足 | 检查topic的ACL授权 |
| 图表时间不准 | 服务器时区不一致 | date -R对比各节点时间 |
生产环境jmx监控was怎么配告警
Kafka Eagle的告警配置在conf/alert/alert.json里，原理是周期性地查询metric，超过阈值就触发动作，比如WAS的Kafka消费者堆积告警,可以这样写：
{ "alert": { "consumer_lag": { "enabled": true, "threshold": 5000, "interval": "5 ?", "actions": ["email", "webhook"] } } }
邮件服务器配置在ke.properties里，支持SMTP和SSL，Webhook可以接钉钉或企业微信机器人,把告警消息推到群聊里。
业内专家指出，告警阈值不要拍脑袋定，先观察一周的基线数据，取P95值作为参考线，Kafka消费者堆积5000条对于低峰期可能算异常,但大促期间可能一秒就冲过去。
相关问题解答
Kafka Eagle对接MRS Kafka需要额外装Agent吗？
不需要，Kafka Eagle通过JMX协议远程拉取MRS Kafka的指标，只要MRS集群的JMX端口对Kafka Eagle服务器开放，就能直接采集，WAS节点同理,无需安装任何插件。
jmx监控was的指标数据能保留多久？
Kafka Eagle默认保留30天数据，在ke.properties里通过kafka.eagle.sql.fix参数可以调整，改用MySQL存储后，配合定时任务清理过期数据,可以支撑半年以上的趋势分析。
MRS Kafka升级后Kafka Eagle需要重新配置吗？
视情况而定，如果只是Kafka小版本升级，且协议和JMX端口没变，Kafka Eagle无需改动，若MRS集群迁移了ZooKeeper地址或启用了新版SASL机制，需要修改cluster1.zk.list和sasl.mechanism后重启Kafka Eagle。
