spark dataframe streaming
-
Structured Streaming - Dataframe 으로 streaming 처리하기spark streaming 2022. 3. 20. 20:25
문제 1. socket 에서 streaming 데이터를 읽어 처리하기 2. file 에서 streaming 데이터를 읽어 처리하기 코드 import org.apache.spark.sql.functions._ import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, SparkSession} import scala.concurrent.duration.DurationInt object StreamingTest { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().appName("StreamingTest")...