-
Dataset.groupByKey + reduceGroupsspark 2025. 1. 6. 10:47
case class Foo(x: String, y: String, z: Int) val ds = df.as[Foo] ds.groupByKey(_.x).reduceGroups((a, b) => a.copy(z = a.z + b.z)).explain
'spark' 카테고리의 다른 글
Dataset 으로 정의된 case class 의 fields 가져오기 (0) 2025.06.10 groupBy 후 group 당 N 개의 record 만 남기기 (0) 2025.01.06 groupBy 후 collect_list 에 여러개의 column 값을 담기 (0) 2024.11.19 DataFrame 에 신규 칼럼 추가하기 (0) 2024.07.19 write partitionBy (0) 2023.02.26