spark log level
-
spark log level 조정하기spark 2022. 1. 30. 20:16
문제 spark 을 local mode 로 실행할 때, 로그가 아래처럼 너무 많아 출력결과를 살펴보기가 어렵다. Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 22/01/30 20:11:12 INFO SparkContext: Running Spark version 3.0.0 22/01/30 20:11:13 INFO ResourceUtils: ============================================================== 22/01/30 20:11:13 INFO ResourceUtils: Resources for spark.driver: 22/01/30 20:11:13 INFO ..