Flink
-
Stream WordCount 예제flink 2021. 5. 15. 23:57
문제 localhost:9999 로 부터 socket 데이터를 읽어 stream word count 를 화면에 출력 한다. Input(localhost:9999) ~$ netcat -l 9999 Noman Joyce Noman Isidore Nipun Rebekah Nipun Expected Output WordCount(Noman,1) WordCount(Noman,2) WordCount(Nipun,1) WordCount(Nipun,2) Code import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala._ object StreamWordCountExample { case class Word..
-
DataSet Join 예제flink 2021. 5. 15. 20:34
문제 person 파일 (id, name) 과 location 파일 (id, city) 을 left outer join 해 output 파일에 저장한다. Person 파일 (person.txt) 1,John 2,Albert 3,Lui 4,Smith 5,Robert Location 파일 (location.txt) 1,DC 2,NY 4,LA 6,LU 7,DL 8,NH Expected Output 1 Some(John) Some(DC) 2 Some(Albert) Some(NY) 3 Some(Lui) None 4 Some(Smith) Some(LA) 5 Some(Robert) None Code import org.apache.flink.api.common.operators.base.JoinOperatorBase..
-
DataSet WordCount 예제flink 2021. 5. 15. 15:08
문제 input 파일(wc.txt) 를 읽어 'N' 으로 시작하는 단어만 word counting 해 output 파일(wc.out) 에 저장한다. Input(wc.txt) Noman Joyce Noman Isidore Nipun Rebekah Nipun Expected Output(wc.out) Nipun 2 Noman 2 Code import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.api.scala._ object WordCountExample { case class WordCount(word: String, count: Int) def main(args: Array[String]): Unit = { val env ..