pyspark
-
pyspark Local 개발 환경 구성pyspark 2023. 12. 10. 17:27
Docker 로 실행 mkdir -p /home/windbird/opt/pyspark-notebook docker run -p 8888:8888 -v /home/windbird/opt/pyspark-notebook:/home/jovyan jupyter/pyspark-notebook 접속하기 위의 docker run 실행하면 터미널에 아래와 같이 로그가 남겨지는 것을 확인할 수 있다. 브라우저에서 가이드된 주소로 (예: http://127.0.0.1:8888/lab?token=f765ddd427f2409b1878cc9b227ed7620122d7716d4134b1) 접속한다. 코드 실행 (jupyter notebook) from pyspark.sql import SparkSession spark = Spar..