Kafka 通识 + 项目实战 + 两个坑复盘
Kafka 通识 + 项目实战 + 两个坑复盘
一、通用概念:几个绕不开的名词
Broker / Topic / Partition / Offset
Broker:一台Kafka服务器。我们本地是单节点(KRaft模式,不用Zookeeper)。
Topic:消息的分类,一个逻辑上的"频道"。我们的是 policy-events。
Partition:topic 内部的物理分片。每个partition是一份只能追加、不能修改的有序日志(想象成一个只能往后写的文件)。我们的 policy-events 有3个partition。
Offset:一条消息在它所在partition里的位置编号,从0开始递增,类似"文件里的行号"。
Partition 决定了顺序保证的边界
Kafka只保证同一个partition内部消息有序,不保证跨partition有序。一条消息进哪个partition,由发送时给的 key 决定(Kafka对key做hash,相同key永远落到同一个partition)。
我们代码里这行就是这个道理:
// KafkaEventPublisher.java
String key = event.getPolicy().getPolicyNo();
kafkaTemplate.send(TOPIC, key, event)
用 policyNo 当key,保证同一张保单的"创建→更新→取消"三个事件顺序不乱——因为它们必然落进同一个partition,被同一个consumer按顺序处理。如果不指定key(或者用随机key),这三条消息可能分散到3个不同partition,被并行处理,谁先到谁后到就不确定了,"取消"完全可能在"创建"之前被处理。
Consumer Group:整个设计里最关键的概念
一条消息,在同一个consumer group内部,只会被组里的一个consumer消费一次(这是给"水平扩展、分摊负载"用的)。
但不同的consumer group之间完全独立,各自维护自己的进度,都能拿到这个topic的完整一份消息拷贝,互不影响。
这就是我们整个P3/P4设计的核心机制:
policy-events topic(3 partitions)
│
┌───────────────┴───────────────┐
▼ ▼
consumer group: consumer group:
"notification-service" "search-service"(P4)
只打日志,不留存 写入ES,供搜索用
两个组各自拿到全量事件、互不干扰——notification-service挂了不影响search-service继续跑,反之亦然。这就是"同一份事件,两种独立消费策略"在代码层面的样子,也是消息队列相比"直接RPC调用"的核心价值:生产者完全不知道、也不用关心下游有几个消费者在听。
Offset怎么"记账",以及 auto-offset-reset 是什么
每个consumer group在每个partition上都会提交(commit)自己读到哪了,这个记录本身也存在Kafka内部一个特殊topic里。一个全新的consumer group第一次启动、还没提交过任何offset时怎么办?由 auto-offset-reset 决定:
earliest:从这个partition最早的消息开始读
latest:只读"从现在起"的新消息,历史的不管
我们notification-service配的是 earliest(见 application.yml)。这就是为什么修完bug重启它之后,它自动把之前3条失败的消息(created/updated/cancelled)全部重新处理了一遍——它压根没能成功提交过offset,一重启自然从头开始追。
为什么要显式声明Topic,而不是让Kafka自动建
Broker有个开关 auto.create.topics.enable,开着的话你发消息到一个不存在的topic会被自动创建——但分区数、副本数都是默认值,不是你想要的,而且"topic名字打错了都不会报错,会自动建一个新的"是个很容易埋雷的坑。所以我们在 KafkaTopicConfig.java 里用 NewTopic/TopicBuilder 显式声明了3分区、1副本,相当于把topic定义也变成"看得见、可审查"的代码。
二、对应到我们项目的代码
生产者侧(policy-service)
文件 作用
event/PolicyEvent.java 消息体,字段严格对齐 docs/kafka-event-schema.md
event/EventPublisher.java 接口,只有一个 publish(event) 方法
event/KafkaEventPublisher.java 实现,真正调 KafkaTemplate.send()
config/KafkaTopicConfig.java 声明topic规格(3分区/1副本)
service/PolicyService.java create/update/cancel 末尾各调一次 eventPublisher.publish(...)
为什么"发事件"要单独抽一个 EventPublisher 接口,而不是直接在PolicyService里调KafkaTemplate?因为P9阶段计划把"谁来触发发事件"从"业务代码手动调用"换成"Canal监听MySQL binlog自动触发"——到时候只需要新写一个"CanalEventPublisher"或者干脆换一套触发机制,EventPublisher这个接口、以及所有下游消费者,完全不用感知这个变化。这是"面向接口而不是面向实现"在这个具体场景里的用法。
消费者侧(notification-service)
@KafkaListener(topics = "policy-events", groupId = "notification-service")
public void onPolicyEvent(PolicyEvent event) { ... }
一行注解就把一个普通方法变成了消费者,groupId 就是consumer group的名字。P4的search-service会用它自己的组名(比如"search-service"),两者读的是同一个topic,但完全独立。
注意 notification-service 里的 PolicyEvent.java 和 policy-service 里的是两个独立的类(包名都不同),不是共享的——这是"每个服务独立pom、不做父子module"这条项目原则的自然结果,两份类维护同一份JSON契约,但各自独立演进。这个设计选择,恰好就是坑1的根源。
三、两个大坑,逐个拆解
坑1:消费者"信错了人"
报错:class 'com.toysystem.policy.event.PolicyEvent' is not in the trusted packages
根因:Spring Kafka的 JsonSerializer(生产者用的)默认会把它序列化的那个Java类的完整类名塞进消息的一个特殊header(__TypeId__)。生产者是policy-service,塞进去的就是 com.toysystem.policy.event.PolicyEvent。
消费者侧的 JsonDeserializer 默认优先读这个header来决定反序列化成哪个类,而不是老老实实用你在consumer这边配置的 spring.json.value.default.type。问题是,notification-service 这个服务里根本不存在 com.toysystem.policy.event.PolicyEvent 这个类——它有的是自己包名下的同名类。所以无论trusted.packages怎么配,它都不可能信任一个"压根不存在"的类。
这个"读header里的类名"机制,本来是为"生产者和消费者共用同一个jar包/类路径完全一致"的场景设计的一个方便功能。但我们的架构原则恰恰是"每个服务独立、不共享代码",两边对同一份契约各写各的类,类名注定不一样——这个默认行为在我们的架构下正好是个坑,不是巧合,是设计假设和我们的架构原则从根上不匹配。
修法(notification-service/application.yml):
spring.json.use.type.headers: false
直接让消费者无视生产者传过来的类名,永远用自己配的 default.type。
坑2:一条坏消息,钉死整条流水线
现象:坑1修复前,日志疯狂刷同一条错误,卡在 partition 2, offset 0 反复重试,完全不往前走。
根因:反序列化这一步,发生在Kafka客户端库内部、你的业务代码(@KafkaListener方法)接手之前。Spring Kafka的默认错误处理器(DefaultErrorHandler)设计的前提是"业务代码抛了异常,我来决定重试几次/要不要走死信队列"。但反序列化异常根本到不了业务代码那一层——它是在"把字节数组转成Java对象"这一步就炸了,DefaultErrorHandler 收到一个它不认识、处理不了的异常类型,于是它自己也报错,然后这条消息的offset永远提交不了、永远跳不到下一条,变成死循环。
修法(notification-service/application.yml):用 ErrorHandlingDeserializer 包一层真正干活的 JsonDeserializer:
value-deserializer: org.springframework.kafka.support.serializer.ErrorHandlingDeserializer
properties:
spring.deserializer.value.delegate.class: org.springframework.kafka.support.serializer.JsonDeserializer
它的作用:反序列化失败时,不让异常直接从Kafka客户端里爆出来,而是把这个异常包进一条"哨兵记录",正常交给listener容器——容器的错误处理器这时候才能认得出来、处理掉(默认行为是记日志然后跳过,不会无限卡住)。
多说一句,呼应SRE视角:这其实是消息队列里一个通用问题,叫"毒药消息"(poison pill)——一条格式错的消息卡住整条流水线后面所有正常消息。生产系统通常会配:反序列化失败或业务处理重试超过N次后,把这条消息扔进一个死信队列(Dead Letter Topic),而不是让它无限阻塞。这个我们P3没做,先留个概念,要不要练这个是你自己定节奏——不用现在动手。
有哪块想再深挖,或者想直接在Kafka容器里用命令行工具(kafka-console-consumer.sh之类)亲手戳一戳、看看partition/offset/consumer group这些东西的真实样子,说一声就行。
コメント
コメントを投稿