Apache Spark - Installazione

Spark è il sottoprogetto di Hadoop. Pertanto, è meglio installare Spark in un sistema basato su Linux. I passaggi seguenti mostrano come installare Apache Spark.

Passaggio 1: verifica dell'installazione di Java

L'installazione di Java è una delle cose obbligatorie nell'installazione di Spark. Prova il seguente comando per verificare la versione JAVA.

$java -version

Se Java è già installato sul tuo sistema, visualizzerai la seguente risposta:

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

Nel caso in cui non sia installato Java sul sistema, installare Java prima di procedere al passaggio successivo.

Passaggio 2: verifica dell'installazione di Scala

Dovresti usare il linguaggio Scala per implementare Spark. Quindi verifichiamo l'installazione di Scala usando il seguente comando.

$scala -version

Se Scala è già installato sul tuo sistema, vedrai la seguente risposta:

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Se Scala non è installato sul tuo sistema, procedi al passaggio successivo per l'installazione di Scala.

Passaggio 3: download di Scala

Scarica l'ultima versione di Scala visitando il seguente link Download Scala . Per questo tutorial, stiamo usando la versione scala-2.11.6. Dopo il download, troverai il file tar di Scala nella cartella di download.

Passaggio 4: installazione di Scala

Seguire i passaggi indicati di seguito per l'installazione di Scala.

Estrai il file tar di Scala

Digita il seguente comando per estrarre il file tar Scala.

$ tar xvf scala-2.11.6.tgz

Spostare i file del software Scala

Utilizzare i seguenti comandi per spostare i file del software Scala nella rispettiva directory (/usr/local/scala).

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit

Imposta PATH per Scala

Utilizzare il seguente comando per impostare PATH per Scala.

$ export PATH = $PATH:/usr/local/scala/bin

Verifica dell'installazione di Scala

Dopo l'installazione, è meglio verificarlo. Utilizzare il seguente comando per verificare l'installazione di Scala.

$scala -version

Se Scala è già installato sul tuo sistema, vedrai la seguente risposta:

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Passaggio 5: download di Apache Spark

Scarica l'ultima versione di Spark visitando il seguente link Download Spark . Per questo tutorial, stiamo usandospark-1.3.1-bin-hadoop2.6versione. Dopo averlo scaricato, troverai il file tar Spark nella cartella di download.

Passaggio 6: installazione di Spark

Segui i passaggi indicati di seguito per l'installazione di Spark.

Estrazione del catrame di scintilla

Il seguente comando per estrarre il file spark tar.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Spostamento dei file del software Spark

I seguenti comandi per spostare i file del software Spark nella rispettiva directory (/usr/local/spark).

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit

Configurazione dell'ambiente per Spark

Aggiungi la riga seguente a ~/.bashrcfile. Significa aggiungere la posizione, in cui si trova il file del software spark alla variabile PATH.

export PATH=$PATH:/usr/local/spark/bin

Utilizzare il seguente comando per reperire il file ~ / .bashrc.

$ source ~/.bashrc

Passaggio 7: verifica dell'installazione di Spark

Scrivi il seguente comando per aprire la shell Spark.

$spark-shell

Se spark è installato correttamente, troverai il seguente output.

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala>