-
Dataset 으로 정의된 case class 의 fields 가져오기spark 2025. 6. 10. 21:06
case class PwlLog( log_type: String, device_type: String, event_type: String ) val fields: Array[String] = classOf[PwlLog].getDeclaredFields.map(_.getName) spark.read .... .withColumn("log_type", ...) .select(fields.map(col): _*) .as[PwlLog]
'spark' 카테고리의 다른 글
각 파티션에서 TaskContext를 사용해 현재 partitionId가져오기 (1) 2025.07.11 groupBy 후 group 당 N 개의 record 만 남기기 (0) 2025.01.06 Dataset.groupByKey + reduceGroups (0) 2025.01.06 groupBy 후 collect_list 에 여러개의 column 값을 담기 (0) 2024.11.19 DataFrame 에 신규 칼럼 추가하기 (0) 2024.07.19