Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- scala
- kafkastream
- Logstash
- aws
- statestore
- schema registry
- kafka streams
- reactive
- play framework
- spring-batch
- confluent
- 카프카
- Spring
- Slick
- Kafka
- Elasticsearch
- kafka interactive query
- springboot
- spring-cloud-stream
- coursera
- 플레이 프레임워크
- kafkastreams
- 한빛미디어
- gradle
- enablekafkastreams
- RabbitMQ
- spring-kafka
- Elk
- avo
- scala 2.10
Archives
- Today
- Total
목록idempotence (1)
b
max.in.flight.request.per.connection
필요한 수준까지 이해한듯 해서, 메모로 남김 원래의 카프카는 데이터 주입에 대한 순서가 중요하지 않았다. (정확히는 어느 정도의 버퍼를 카프카 브로커가 가지면서 Event Time에 대한 조정 작업을 알아서 해준다)하지만 producer의 명등성 옵션과 순서 보장에 대한 이슈가 중요해졌고 max.in.flight.request.per.connection = 1 로 셋팅하면서 순서 꼬임을 좀 방어하고자 했는데...1로 설정하고 idempotence 옵션이 켜져있고 retry가 가능한 상태일때 전송하다가 OutOfOrderSequence 예외가 발생한다면 클라이언트 영역에서 이 Sequence Number를 잘 처리해야한다. (재전송 하거나, 다음 idempotence 전송에서 써야한다) 이게 어렵다... ..
카테고리 없음
2018. 6. 18. 14:51