[Spark] Spark 설치

📋PATH 등록

export JAVA_HOME=/sw/java/jdk
export SPARK_HOME=/sw/spark
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH

 

📌Spark 설치

- Spark 다운로드

wget https://archive.apache.org/dist/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz --no-check-certificate

 - Spark 압축해제

tar -zxvf /sw/spark-release/spark-3.3.1-bin-hadoop3.tgz

 

📖환경 변수 설정

cd $SPARK_HOME/conf

  spark-env.sh

cp ./spark-env.sh.template ./spark-env.sh

# 기본 주소 셋팅
export SPARK_LOCAL_IP=192.168.0.2
#export SPARK_MASTER_IP=192.168.0.2
export SPARK_MASTER_HOST=192.168.0.2
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8080


# 환경변수 셋팅 
export SPARK_DRIVER_MEMORY=1g
export SPARK_DRIVER_CORES=1

export SPARK_WORKER_MEMORY=10g
export SPARK_WORKER_CORES=4
export SPARK_WORKER_INSTANCES=1


#export SPARK_EXECUTOR_MEMORY=8g
#export SPARK_EXECUTOR_CORES=4
#export SPARK_EXECUTOR_INSTANCES=1

# NVIDIA GPU 기반 시스템에서 실행되는 프로그램이 사용 가능한 GPU를 선택하는 데 사용
export NVIDIA_VISIBLE_DEVICES=all
# CUDA 라이브러리를 사용하는 프로그램에서 0번 GPU만 사용하도록 제한
export CUDA_VISIBLE_DEVICES=0