b

AWS 에서 메시지를 전달 하는 서비스로 SNS, SQS, Kinesis, EventBridge 등이 존재한다. 이 중에서 Pub/ Sub 모델의 서비스는 SNS 와 EventBridge 이다. AWS SNS aws 에서 가장 오래된 pub/sub 서비스이다 1. SMS&메일을 보낼 수 있고, 2. 모바일 디바이스에 Push를 보내거나 3. SQS , Lambda 등의 AWS 서비스와도 연결 할 수 있다. 토픽당 백 만이상의 구독자를 설정 할 수 있고, 낮은 latency 를 제공한다. 하지만 pub/sub 이고 메시지를 push 하는 형태이므로. 수신측App 이 허용 범위 이상 메시지를 받는다면 서비스에 문제가 발생한다. 이를 대비하기 위해서는 SQS 등의 Queue 와 같이 써야 한다. (일반적인 패..

IAM 계정 대시보드로 들어가면 계정의 보안 상태를 확인 할 수 있다. 만약 권한이 부족하다고 나온다면 'ec2admin' 그룹에 IAMReadOnlyAccess Policy를 추가하면 된다. Password Policy : 비밀번호 정책을 설정 할 수 있다. 대소문자,숫자 여부, 최소 길이등을 설정 할 수 있다. 루트 계정에서 MFA 활성화 : 참고 링크 비밀번호 이외에 OTP(OneTime Password) 를 이용 할 수 있다 `가상 MFA 장치` 방법을 이용하여 Google Auth(아이폰,안드로이드) 등을 이용할 수 있다. 그 외에 참고 사이트 IAM 유저 가이드 - PDF , HTML IAM 사용 사례 - 링크 IAM 의 보안 모범 사례 - 링크 IAM Role을 이용해서 EC2에 권한 주기 ..

권한에 따른 AMAZON AWS 사용자 분류 Root Acount IAM Users, Group, Roles Temporary Security Credentials (임시 보안 자격증명) 밑으로 갈수록 좀 더 범위가 좁아진다. IAM ( Identity and Access Managemnt) 사용자와 그룹을 생성하고 각 리소스에 대해 접근제어와 권한 관리를 제공 (리전별로 설정은 안되고 모든 리전에 동일하게 적용) 실제 서비스가 아니라서 요금은 없음 Effect, Principal, Action, Resource, Condition 총 5개의 구성요소를 가지고 JSON 형태로 정의할 수 있다. 링크 IAM Policy 종류 AWS Organizations : 무료이고, Service Control Pol..

현재 팀은 SpringBoot application 을 좀 더 운영하기 쉽도록 하기 위해서 starter를 하나 생성해서 사용하고 있다.cloud-netflix 셋팅과, 그 많고 많은 zuul, eureka 버그 픽스를 위한 몇몇 코드, 그리고 config server를 기반으로 한 다양한 설정들을 공통화 하기 위한 목적이다. 현재 진행 하는 프로젝트는 이 starter 를 쓰지 않고 순수하게 spring/kafka 만을 사용 하고 있다.이 프로젝트를 위해 별도의 metrics 시스템을 구축하기 보다는 기존의 sleuth-zipkin 인프라를 활용하기 위해서 spring-cloud-sleuth-stream을 사용하려 한다. 1. gradle 설정 추가['stream-kafka'].collect { com..

18/01/30 idea 카프카 자체의 data recovery는 훌륭하다. 당연한게 파일로 저장하고 심지어 여러 셋트로 저장한다. 유실되는 경우는 저장 기간을 넘기거나, 1개의 IDC에만 설치한 후 IDC가 물에 잠기는 방법 뿐이다. 이건 다 아는 얘기고, 문제는 이 kafka 를 기반으로 한 streams 를 서비스 할 때이다. 1. Kafka는 기본적으로 1 개의 TopicPartion 에서 1 개의 Consumer Group의 노드가 접속 한다.2. Kafka Topic은 KStream/KTsble/StateStore 등을 통해서 각각의 topic-partition을 local DB에 싱크를 맞춘후 materilized 한다 (비동기/latency 존재) 우선 1번의 문제부터....1. 해당 To..

밑에는 잡담이니 결론 부터* 결론 Ditmars.SR3 사용, Spring 4, Boot 1.5.x는 기존대로 유지 * Kafka 는 0.1x 유지 * spring-cloud-stream-reactive & reactor 3.1.X 사용 ( rxjava2 버림 ) * 우리가 사용중인 Spring Cloud Dalston SR5는 Ditmars 버전 매트릭스에 맞지 않다 이전 버전인 Chelsea.SR2를 고려해야한다.* 하지만 Ditmars.SR3 버전으로 리서치를 진행 할 예정이다. * Ditmars.SR3 은 spring-kafka 1.1.7 이므로 @EnableStream 사용등은 커스텀마이징을 해야 하기 때문에 추천버전은 Kafka 0.10을 그대로 사용 해서 진행 한다 Ditmars.SR3 의존..

18/01/26 idea 구현해야 할 도메인은 https://www.confluent.io/blog/building-a-microservices-ecosystem-with-kafka-streams-and-ksql/필요한 내용은- 정확한 request/ responses - scale out - high availability - ktable & state-store를 기반으로 한 local - storage의 사용블로그 글과 예제에 대해서는 100퍼센트 공감이 되지만, 몇몇 부분에서는 '구현' 자체가 고민스러움. 나 뿐 아니라 다른 이의 구현을 살펴보아도 동일하다. 아래의 github 개발자도 위의 블로깅 내용을 보고 example project를 작성하였지만 같은 문제점을 그대로 노출하고 있다.. - ..

기본으로 톰캣6, 자바7이 깔려있었다 (micro instance 기준) 참고 : http://blog.de-gouveia.eu/2014/05/21/java-8-jdk-linux-installation-in-ec2-linux-instance/ * 첫번째로 java8 설치. yum에는 아직 java-1.8이 없어서 직접 오라클에서 다운받아야한다. 파일로 받아서 scp로 올리면 귀찮으니 위 블로그처럼 다운로드 받음 wget -c --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracl..