Apache Kafka에서의 Transaction 이해하기

Apache Kafka에서 Transaction은 여러 메시지 그룹의 일관성을 보장하는 메커니즘입니다. 쉽게 말하면, 여러 메시지를 하나의 묶음으로 처리하여 모두 성공하거나 모두 실패하도록 하는 기능입니다. 이는 데이터 손실이나 불일치를 방지하는 데 중요한 역할을 합니다.

Transaction 종류

Kafka는 두 가지 Transaction 모델을 지원합니다.

• Producer Transaction: Producer는 Transaction을 시작하고 여러 메시지를 Producer합니다. 모든 메시지가 성공적으로 전송되면 Transaction을 Commit하고, 그렇지 않으면 Rollback합니다.
• Consumer Transaction: Consumer는 Transaction을 시작하고 여러 메시지를 Consume합니다. 모든 메시지를 성공적으로 처리하면 Transaction을 Commit하고, 그렇지 않으면 Rollback합니다.

Transaction 예시

Producer Transaction 예시:

1. Producer는 Transaction을 시작합니다.
2. Producer는 Topic A에 메시지 "Hello"를 전송합니다.
3. Producer는 Topic B에 메시지 "World"를 전송합니다.
4. 두 메시지가 모두 성공적으로 전송되면 Producer는 Transaction을 Commit합니다.
5. 만약 메시지 중 하나라도 전송에 실패하면 Producer는 Transaction을 Rollback합니다.

Consumer Transaction 예시:

1. Consumer는 Transaction을 시작합니다.
2. Consumer는 Topic A에서 메시지 "Hello"를 Consume합니다.
3. Consumer는 Topic B에서 메시지 "World"를 Consume합니다.
4. 두 메시지가 모두 성공적으로 처리되면 Consumer는 Transaction을 Commit합니다.
5. 만약 메시지 중 하나라도 처리에 실패하면 Consumer는 Transaction을 Rollback합니다.

Transaction 사용 시 고려 사항

• Transaction은 성능에 영향을 줄 수 있습니다.
• Transaction은 복잡성을 증가시킬 수 있습니다.
• Transaction은 모든 애플리케이션에 적합하지 않습니다.

Ref

• Apache Kafka Transaction 문서: https://www.confluent.io/blog/transactions-apache-kafka/
• Kafka Transaction 튜토리얼: https://www.confluent.io/blog/transactions-apache-kafka/