| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
| 31 |
- kafka interactive query
- 카프카
- reactive
- Logstash
- avo
- springboot
- 한빛미디어
- play framework
- enablekafkastreams
- Spring
- RabbitMQ
- Elasticsearch
- spring-kafka
- gradle
- spring-batch
- Kafka
- statestore
- Elk
- scala
- 플레이 프레임워크
- scala 2.10
- coursera
- kafkastreams
- confluent
- kafka streams
- kafkastream
- aws
- spring-cloud-stream
- schema registry
- Slick
- Today
- Total
목록2020/05 (3)
b
RabbitMQ 클러스터에서 큐가 존재하지 않는 노드로의 publish 와 네트워크 사용량
클러스터 : Node 2개로 클러스터 구성하였다. 실험) Queue는 dev01에 존재하지만 'dev02' 노드로 접속해서 데이터를 발행했다. 설명) Queue 자체는 dev01 서버에 존재하였지만 spring.rabbitmq.address 는 dev02로 선언하였다. (처음에 메타정보를 가져와서 dev01이랑만 연결되지 않을까? 라는 예측을 했었지만 틀렸다) 위의 netstat 결과를 보면 확인 할 수 있지만 Publisher는 Queue가 없는 dev02로 접속하여서 데이터를 발행하였다. 즉, Queue가 존재하는 Node에 연결을 반드시 하지는 않는다. 클러스태 내부끼리 통신을 하여 데이터를 주고 받는 거였다. (Kafka는 해당 TopicPartition이 존재하는 Broker들과 전부 Conne..
기존의 RabbitMQ 클러스터가 N 대 있고, VIP로 엮여있다. 그리고 legacy system 은 그 VIP 만을 broker_url로 사용하고 있었다. (잘 모르겠지만 이거 이래도 되나?) 그래서 VIP 사용을 제거하고 broker_url 을 node list로 변경하기로 했다. Spring 같은 경우는 Kafka, Elastic 등에서 Node List를 프로퍼티로 주고 많이 사용했기 때문에 문제가 없었지만 airflow 에서 설정이 문제였다. celery 문서를 따라가보면 세미콜론 또는 List 형태로 줄 수 있다고 한다. (https://docs.celeryproject.org/en/stable/userguide/configuration.html#broker-settings) 방법1) bro..
전체 변경 내역은 https://github.com/spring-projects/spring-boot/wiki/Spring-Boot-2.3-Release-Notes 을 확인 dependencies 는 https://github.com/spring-projects/spring-boot/blob/master/spring-boot-project/spring-boot-dependencies/build.gradle 에서 확인 하면 된다. Spring Data Neumann 적용 pring Data Neumann 릴리즈를 적용함. Spring Data 의 train release 는 https://github.com/spring-projects/spring-data-commons/wiki/Release-planni..