Deep Dive у механізми Exactly-Once в Apache Kafka: як працюють Idempotent Producer та Transactional Producer, дедуплікація повідомлень, transaction markers, LSO та контроль видимості даних. Практично пояснюю, де закінчуються гарантії Kafka і як обрати правильний підхід.
У статті розбираємо, як працює exactly-once delivery в Apache Kafka, які проблеми виникають у мікросервісній архітектурі та чому на практиці підхід At-Least-Once + Idempotent Consumer часто простіший і ефективніший за повноцінний exactly-once.
Як реалізувати версіонування повідомлень в системах подій (message brokers)
Консенсус в розподілених системах — це фундаментальний принцип, який дозволяє декільком взаємопов'язаним вузлам (або процесам) у системі досягти загальної домовленості щодо певного даних або стану системи, незважаючи на наявність помилок або відмов деяких вузлів.
Стаття про продюсери і консюмери в Kafka. Producers, Consumers, Consumer groups, Rebalancing, Message delivery semantics, Offsets, Kafka partition picking, Avoiding duplicates, Message order maintaining, How many partitions should I choose for topic? Strategy for partitioning)
Пост про партиції в Kafka. Офсети. Визначення партиції. Динамічне розширення. Порядок і усунення дублікатів. Скільки треба вибирати партциій для топіка? Стратегії партиціювання.
Пост про реплікацію в Kafka. Асинхронна і синхронна реплікація. ISR/OSR. Смерть лідера. Відновлення реплік. Конфігурація продюсера на очікування реплікації.
Java Software Engineer
Head of Engineering
Team Lead/ Senior Java Dev
