분류 전체보기
-
Stream Reduce, Min, MinBy, Max, MaxBy 예제flink 2021. 5. 16. 22:02
문제 text file 을 라인 단위로 읽어 월별 profit 평균을 출력한다. Input(/home/windbird123/product_info.txt) (month, product, profit) June,Bat,12 June,Perfume,10 July,Television,50 June,Shirt,38 June,Bat,41 Expected Output (June,12) (June,11) (July,50) (June,20) (June,25) Code import org.apache.flink.api.scala._ import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment} object StreamReduceEx..
-
Stream WordCount 예제flink 2021. 5. 15. 23:57
문제 localhost:9999 로 부터 socket 데이터를 읽어 stream word count 를 화면에 출력 한다. Input(localhost:9999) ~$ netcat -l 9999 Noman Joyce Noman Isidore Nipun Rebekah Nipun Expected Output WordCount(Noman,1) WordCount(Noman,2) WordCount(Nipun,1) WordCount(Nipun,2) Code import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala._ object StreamWordCountExample { case class Word..
-
DataSet Join 예제flink 2021. 5. 15. 20:34
문제 person 파일 (id, name) 과 location 파일 (id, city) 을 left outer join 해 output 파일에 저장한다. Person 파일 (person.txt) 1,John 2,Albert 3,Lui 4,Smith 5,Robert Location 파일 (location.txt) 1,DC 2,NY 4,LA 6,LU 7,DL 8,NH Expected Output 1 Some(John) Some(DC) 2 Some(Albert) Some(NY) 3 Some(Lui) None 4 Some(Smith) Some(LA) 5 Some(Robert) None Code import org.apache.flink.api.common.operators.base.JoinOperatorBase..
-
DataSet WordCount 예제flink 2021. 5. 15. 15:08
문제 input 파일(wc.txt) 를 읽어 'N' 으로 시작하는 단어만 word counting 해 output 파일(wc.out) 에 저장한다. Input(wc.txt) Noman Joyce Noman Isidore Nipun Rebekah Nipun Expected Output(wc.out) Nipun 2 Noman 2 Code import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.api.scala._ object WordCountExample { case class WordCount(word: String, count: Int) def main(args: Array[String]): Unit = { val env ..
-
Future 의 concurrency controlscala/basic 2021. 3. 28. 15:52
playframework 에서 1,000 개의 DB item 을 빠르게 조회할 필요가 있었다. play-ws 를 사용하면 Http Api 호출을 async action 으로 처리할 수 있다. 그런데 1,000 번의 Http Api 호출을 순식간에 진행해 DB 에 무리가 갈 수 있다. 오히려 성능을 제한해 한번에 100 건씩 호출해 10 번에 나누어서 처리하고 싶다. 아래 글을 참고해 코딩해 봤다. stackoverflow.com/questions/49924941/how-to-control-the-concurrency-of-future-sequence-in-scala How to control the concurrency of future.sequence in scala? I know that I can ..
-
Scala Learningscala/basic 2021. 3. 28. 15:28
Coding Guide Lihaoyi Strategic Scala Style: Principle of Least Power alexandru scala-best-practices databricks scala-style-guide twitter scala school Books scala 는 아래와 같이 차례로 공부하면 좋을 것 같다. 3,4 번 순서는 바뀌어도 되고, 6 은 너무 어렵기 때문에 Functional Programming 을 깊게 공부할려고 할 경우에만 보자. 1. 러닝 스칼라 러닝 스칼라 객체지향 프로그래머를 위한 최적의 스칼라 입문서!왜 스칼라를 배울까? 이 객체지향 함수형 프로그래밍 언어를 제대로 이해하기 위해 여러분이 데이터 과학자나 분산 컴퓨팅 전문가일 필요는 www.yes24.c..