일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- 카프카
- avo
- Elasticsearch
- aws
- gradle
- scala
- kafka interactive query
- kafkastreams
- statestore
- schema registry
- reactive
- Kafka
- RabbitMQ
- kafka streams
- play framework
- Spring
- spring-kafka
- confluent
- Slick
- Elk
- spring-batch
- springboot
- Logstash
- 플레이 프레임워크
- coursera
- spring-cloud-stream
- enablekafkastreams
- kafkastream
- scala 2.10
- 한빛미디어
- Today
- Total
목록spring framework/spring-batch (4)
b
DZONE의 Java&XML에 관련된 글 3개가 마무리된 듯하다.http://java.dzone.com/articles/java-and-xml-part-1http://java.dzone.com/articles/java-and-xml-part-2http://java.dzone.com/articles/java-and-xml-part-3-jaxb 기존의 RDB에 데이터를 저장하는것으로는 한계에 부딪쳐서, Key-Document 형태로 저장한다. 이 Document는 XML이며 여기에서 XPath기반으로 데이터를 추출해야한다. 뭐 몇건안되면 문제가 안되겠지만.. 몇건이 된다는 거다. 6core * cpu 2개, 메모리16G 2대로 이 키워드 추출 부분을 소화해내야 하는데 하루에 몇억건이므로 성능을 무시할 수는 ..
단순히, Batch모듈을 쓰고 있다가. Integration과 함께 무엇을 할 것인가에 대한 고민중이다.앞서, 이전 프로젝트에서는 Batch가 어떻게 얼마나 잘 돌았는지 보려고 Batch Admin이라는 유틸성 프로젝트를 연결해보았다. 내가 쓰던 JobRepository를 연결하고, 실행하면 내 잡들 목록과, BatchAdmin의 기본 잡 2개가 리스트에 나온다. 각 Job의 실행값들과 결과를 알수있고, Step단계로도 확인할 수 있다.Step 까지 클릭해서 들어가면 Exit Message도 볼수 있어 배치 실패 이슈를 쉽게 파악할 수 있다. 문제는....1. 기존의 신규 배치가 아직, 잘 돌아가는 구 배치들이 JobRepository에 맞춰서 (기존 logfile이 아닌, remote log를 쌓아줘야..
휴가중(진짜 심심해서 쓰는 ) 포스팅. 작성중 JobLauncher 의 유일한 구현체 SimpleJobLauncher이다. 1. 유일한 public method 'run'을 보면 Job , JobParameters 를 아귀먼트로 받는것을 확인할 수 이고, return 은 JobExecution이다. 2. JobExecution은 Entity를 상속받는 상태를 나타내는 클래스라 생각해도 된다. /* * Copyright 2006-2008 the original author or authors. * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance wit..
Job Parameter를 자동으로 Increment 하기 위해서 사용.(Job의 구현체를 구분하는 방법은 Job + Job Parameter이기 때문에, Parameter없이는 같은 job을 계속 실행하면 안된다) @Component public class SimpleJobParametersIncrementer implements JobParametersIncrementer { static final SimpleDateFormat format = new SimpleDateFormat("yyyyMMdd-hhmmss"); public JobParameters getNext(JobParameters parameters) { String id = format.format(new Date()); return n..