Done is better than perfect

Apache Kafka에서 Transaction은 여러 메시지 그룹의 일관성을 보장하는 메커니즘입니다. 쉽게 말하면, 여러 메시지를 하나의 묶음으로 처리하여 모두 성공하거나 모두 실패하도록 하는 기능입니다. 이는 데이터 손실이나 불일치를 방지하는 데 중요한 역할을 합니다. Transaction 종류 Kafka는 두 가지 Transaction 모델을 지원합니다. Producer Transaction: Producer는 Transaction을 시작하고 여러 메시지를 Producer합니다. 모든 메시지가 성공적으로 전송되면 Transaction을 Commit하고, 그렇지 않으면 Rollback합니다. Consumer Transaction: Consumer는 Transaction을 시작하고 여러 메시지를 Con..

Kafka 에서 Leader Epoch 의 의미 카프카에서 리더 에포크(Leader Epoch)는 파티션의 리더가 변경될 때마다 증가하는 32비트 숫자입니다. Leader Epoch정보로 알 수 있는 사항들 1. 리더 변경 시 메시지 일관성 유지: 리더가 변경되면 새로운 리더는 이전 리더가 처리하지 못한 메시지를 처리해야 합니다. 리더 에포크는 이전 리더가 처리한 메시지와 새로운 리더가 처리해야 하는 메시지를 구분하는 데 사용됩니다. 팔로워는 리더에게 리더 에포크를 요청하고, 리더는 자신의 리더 에포크를 팔로워에게 전달합니다. 팔로워는 리더 에포크를 기반으로 메시지를 처리합니다. 2. 리더 변경 시 ISR 갱신: 리더가 변경되면 ISR(In-Sync Replica)도 갱신됩니다. ISR은 리더와 동기화된..