spark udf
-
Spark Broadcast 사용하기spark 2022. 1. 30. 22:01
문제 Movie Title 정보를 가진 Map[Int, String] 이 있다. val movieTitles: Map[Int, String] = Map(1 -> "Back To The Future", 2 -> "The Matrix") movieTitles 를 broadcast 해 아래 DataSet[MovieScore] 에서 조회할 수 있도록 한다. case class MovieScore(id: Int, score: Int) import spark.implicits._ val movieScoreDs: Dataset[MovieScore] = Seq(MovieScore(1, 9), MovieScore(2, 10)).toDS() 최종 결과는 movieScoreDs 와 movieTitles 가 (map side..