콘텐츠로 이동
Study NoteKafka

13. 마무리

결국 한 문장이다 — 서비스 사이에 지워지지 않는 로그를 놓고, 보장은 나사를 골라 조인다

프로듀서에서 온프렘 Strimzi 위의 토픽을 거쳐 컨슈머 그룹 둘로 이어지고, KRaft 컨트롤러와 모니터링이 클러스터에 붙는 덱 전체 지도
문장어디서
Kafka를 놓는 목적은 결합을 시간 축에서 끊는 것이다1장
큐와의 본질 차이 — 읽어도 사라지지 않는다1–2장
순서 · 병렬성 · 확장의 단위는 파티션 — 순서가 필요한 단위가 곧 키다2 · 4장
유실 없음은 한 설정이 아니라 사슬이다 — acks=all · RF3/min.insync=2 · 처리 후 커밋 · 랙 < 보존3 · 6장
중복이 안 오게가 아니라, 와도 무해하게 — at-least-once + 멱등 소비6장
온프렘 k8s의 절반은 스토리지(local PV + 자체 복제), 절반은 advertised 주소9장
운영의 90%는 세 숫자 — 랙 · URP · 디스크10장

서비스에 처음 붙이기 전에 답해 둘 것들 — 전부 이 덱의 장으로 되돌아간다.

#질문장
1이 연동은 정말 비동기 이벤트인가, 동기 API로 남아야 하는가1
2토픽 이름 규칙과 스키마(형식 계약 · 버전 방침)를 정했는가7
3키(순서 단위)와 파티션 수(컨슈머 실측 기반)를 정했는가4 · 7
4보존 기간이 “최대 며칠 밀려도 되는가”에 답하는가 — 디스크 계산까지7
5RF=3 · min.insync=2 · acks=all — 표준 조합이 기본값인가3
6컨슈머는 처리 후 커밋 + 멱등 처리 + DLT인가5–6 · 11
7랙 · URP · 디스크 알람이 첫 배포 전에 걸려 있는가10
8서비스별 계정 · ACL, 토픽 자동 생성 끄기 — 초기 설정을 마쳤는가10

다가오는 것 — 큐 시맨틱 (share group)

섹션 제목: “다가오는 것 — 큐 시맨틱 (share group)”

“파티션 1 ↔ 컨슈머 1” 제약 없이 큐처럼 나눠 소비하는 share group(KIP-932)이 4.x에서 단계적으로 들어오고 있다. 성숙하면 “작업 분배는 전통 큐”라는 1장의 구분이 일부 흐려질 수 있다 — 도입 시점에 상태를 확인할 것.

  • Kafka 공식 문서 — 설정 레퍼런스는 결국 여기
  • Strimzi 문서 — 배포 형상과 CRD 레퍼런스
  • Kafka: The Definitive Guide (2판, Confluent 무료 배포) — 이 덱의 깊이 다음 단계