spark streaming aggregation
-
Structured Streaming - Dataframe 으로 Aggregation 하기spark streaming 2022. 3. 20. 23:34
문제 socket 에서 streaming 데이터를 읽어 count, groupBy 같은 aggregation 을 한다. 코드 import org.apache.spark.sql.functions._ import org.apache.spark.sql.{DataFrame, SparkSession} object StreamingTest { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().appName("StreamingTest").master("local[2]").getOrCreate() val lines: DataFrame = spark.readStream .format("socket") .optio..