spark log level 조정하기

문제

spark 을 local mode 로 실행할 때, 로그가 아래처럼 너무 많아 출력결과를 살펴보기가 어렵다.

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
22/01/30 20:11:12 INFO SparkContext: Running Spark version 3.0.0
22/01/30 20:11:13 INFO ResourceUtils: ==============================================================
22/01/30 20:11:13 INFO ResourceUtils: Resources for spark.driver:

22/01/30 20:11:13 INFO ResourceUtils: ==============================================================
22/01/30 20:11:13 INFO SparkContext: Submitted application: RatingsCounter
22/01/30 20:11:13 INFO SecurityManager: Changing view acls to: USER
22/01/30 20:11:13 INFO SecurityManager: Changing modify acls to: USER
...

Error 로그만 보이도록 로그 레벨을 조정하자.

코드

import org.apache.spark._
import org.apache.log4j._

object SparkApp {
  def main(args: Array[String]) {
    // 아래처럼 org 로 시작하는 package 에 대한 로그 레벨을 ERROR 로 조정해 준다.
    Logger.getLogger("org").setLevel(Level.ERROR)
    
    val spark = ...
    ...
    spark.stop() 
  }
}