일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- spring-kafka
- schema registry
- kafka streams
- Elk
- Slick
- RabbitMQ
- Spring
- scala
- aws
- spring-batch
- scala 2.10
- 플레이 프레임워크
- Elasticsearch
- spring-cloud-stream
- kafkastreams
- kafkastream
- gradle
- enablekafkastreams
- confluent
- Logstash
- avo
- 카프카
- play framework
- statestore
- coursera
- kafka interactive query
- 한빛미디어
- Kafka
- reactive
- springboot
- Today
- Total
목록2018/06 (4)
b
6월 gradle 4.8이 릴리즈 되었다. (현재 4.8.1) 가장 눈에 들어오는 점은 nebula의 gradle-dependency-lock-plugin 으로 사용하고 있던 `Dependency locking` 이거다. > ./gradlew build --write-locks 사용하기 위해서는 build.gradle 에서 해당 내용을 활성화 시켜야 한다. (참고 : https://docs.gradle.org/4.8.1/release-notes.html#locking-of-dynamic-dependencies )dependencyLocking { lockAllConfigurations() } 처럼 실행하면 ./gradle/dependency-locks 에 현재 실행된 task 들의 각 단계에서 필요한 d..
마이크로 미터는 2017년 4월 중순 Jon Schneider (슈나이더?) 에 의해 시작되었다. 원래 넷플릭스 직원이었고, 우리도 애용하고 있는 nebula의 몇몇 플러그인 개발자 였다. 하여튼 (동일한 시기에 Pivotal로 이직을 해서인지?, 어떤 이유에서인지) 슈나이더는 micrometer를 시작하였고 "Experimental ground for Spring metrics work" 라는 최초의 커밋을 남겼다.https://github.com/micrometer-metrics/micrometer/commit/4df27760 그가 micrometer에 대해서 소개한 글이다. 대충 필요하다고 생각되는 내용만 옮겨 적음https://spring.io/blog/2018/03/16/micrometer-sp..
필요한 수준까지 이해한듯 해서, 메모로 남김 원래의 카프카는 데이터 주입에 대한 순서가 중요하지 않았다. (정확히는 어느 정도의 버퍼를 카프카 브로커가 가지면서 Event Time에 대한 조정 작업을 알아서 해준다)하지만 producer의 명등성 옵션과 순서 보장에 대한 이슈가 중요해졌고 max.in.flight.request.per.connection = 1 로 셋팅하면서 순서 꼬임을 좀 방어하고자 했는데...1로 설정하고 idempotence 옵션이 켜져있고 retry가 가능한 상태일때 전송하다가 OutOfOrderSequence 예외가 발생한다면 클라이언트 영역에서 이 Sequence Number를 잘 처리해야한다. (재전송 하거나, 다음 idempotence 전송에서 써야한다) 이게 어렵다... ..
몇 달전에 메모장에 적어놨던 내용인데, 지우면 또 까먹을 듯 해서 기록으로 남김 * 기존 Java Class에서 Avro Schema 획득하기ReflectData.get().getSchema 를 이용하여, 쉽게 json형식의 AvroSchema를 획득할 수 있다. (검증은 꼭 할것) 아쉽지만 record 타입을 자동으로 찾아서 해준다거나, vargs 형식으로 getSchema를 사용할 수는 없다.Schema schema = ReflectData.get().getSchema(Order.class); System.out.println(schema.toString(true)); * Schema Evolution1. backward : 새스키마로 이전 데이터를 읽을 수 있다. ex) 새 field를 추가할때 d..