-
Dataset.groupByKey + reduceGroupsspark 2025. 1. 6. 10:47
case class Foo(x: String, y: String, z: Int) val ds = df.as[Foo] ds.groupByKey(_.x).reduceGroups((a, b) => a.copy(z = a.z + b.z)).explain
'spark' 카테고리의 다른 글
groupBy 후 group 당 N 개의 record 만 남기기 (0) 2025.01.06 groupBy 후 collect_list 에 여러개의 column 값을 담기 (0) 2024.11.19 DataFrame 에 신규 칼럼 추가하기 (0) 2024.07.19 write partitionBy (0) 2023.02.26 Spark Dataset joinWith bug? (0) 2022.02.26