netcat
-
Structured Streaming - Dataframe 으로 streaming 처리하기spark streaming 2022. 3. 20. 20:25
문제 1. socket 에서 streaming 데이터를 읽어 처리하기 2. file 에서 streaming 데이터를 읽어 처리하기 코드 import org.apache.spark.sql.functions._ import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, SparkSession} import scala.concurrent.duration.DurationInt object StreamingTest { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().appName("StreamingTest")...
-
Stream WordCount 예제flink 2021. 5. 15. 23:57
문제 localhost:9999 로 부터 socket 데이터를 읽어 stream word count 를 화면에 출력 한다. Input(localhost:9999) ~$ netcat -l 9999 Noman Joyce Noman Isidore Nipun Rebekah Nipun Expected Output WordCount(Noman,1) WordCount(Noman,2) WordCount(Nipun,1) WordCount(Nipun,2) Code import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala._ object StreamWordCountExample { case class Word..