spark streaming
-
Event Time Windowsspark streaming 2022. 4. 23. 16:43
문제 아래와 같은 데이터가 socket stream 으로 들어올 때, event time sliding window 를 이용해 전체 합을 구해보자 outputMode(complete, append, update) 에 따라 결과가 달라질 수 있는데, 여기서는 complete 로 테스트 해 본다. {"id":"21b12ec2-fc44-4068-889b-53cde1d936de","time":"2019-03-01T01:34:53.675+09:00","item":"TV","quantity":0} {"id":"237b1f51-208c-41a8-bd05-8c356746ce91","time":"2019-03-01T01:36:45.675+09:00","item":"iPad","quantity":5} {"id":"5d0b..
-
DStreamsspark streaming 2022. 4. 10. 18:49
코드 import org.apache.spark.sql.SparkSession import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext} object StreamingTest { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().appName("StreamingTest").master("local[2]").getOrCreate() // 입력 데이터 존재 여부에 관계 없이 무조건 1초마다 배치가 실행됨 val ssc: StreamingContext = new ..