Apache Solr - Su Hadoop

Solr può essere utilizzato insieme a Hadoop. Poiché Hadoop gestisce una grande quantità di dati, Solr ci aiuta a trovare le informazioni richieste da una fonte così ampia. In questa sezione, facci capire come puoi installare Hadoop sul tuo sistema.

Download di Hadoop

Di seguito sono riportati i passaggi da seguire per scaricare Hadoop sul tuo sistema.

Step 1- Vai alla home page di Hadoop. Puoi usare il link - www.hadoop.apache.org/ . Clicca il linkReleases, come evidenziato nello screenshot seguente.

Ti reindirizzerà al file Apache Hadoop Releases pagina che contiene collegamenti per i mirror di file sorgente e binari di varie versioni di Hadoop come segue:

Step 2 - Seleziona l'ultima versione di Hadoop (nel nostro tutorial, è 2.6.4) e fai clic su binary link. Ti porterà a una pagina in cui sono disponibili i mirror per il binario Hadoop. Fare clic su uno di questi mirror per scaricare Hadoop.

Scarica Hadoop dal prompt dei comandi

Apri il terminale Linux e accedi come superutente.

$ su 
password:

Vai alla directory in cui devi installare Hadoop e salva lì il file usando il link copiato in precedenza, come mostrato nel seguente blocco di codice.

# cd /usr/local 
# wget http://redrockdigimark.com/apachemirror/hadoop/common/hadoop-
2.6.4/hadoop-2.6.4.tar.gz

Dopo aver scaricato Hadoop, estrailo utilizzando i seguenti comandi.

# tar zxvf hadoop-2.6.4.tar.gz  
# mkdir hadoop 
# mv hadoop-2.6.4/* to hadoop/ 
# exit

Installazione di Hadoop

Seguire i passaggi indicati di seguito per l'installazione Hadoop in modalità pseudo-distribuita.

Passaggio 1: configurazione di Hadoop

Puoi impostare le variabili d'ambiente Hadoop aggiungendo i seguenti comandi a ~/.bashrc file.

export HADOOP_HOME = /usr/local/hadoop export
HADOOP_MAPRED_HOME = $HADOOP_HOME export
HADOOP_COMMON_HOME = $HADOOP_HOME export 
HADOOP_HDFS_HOME = $HADOOP_HOME export 
YARN_HOME = $HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR = $HADOOP_HOME/lib/native 
export PATH = $PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
export HADOOP_INSTALL = $HADOOP_HOME

Successivamente, applica tutte le modifiche al sistema in esecuzione corrente.

$ source ~/.bashrc

Passaggio 2: configurazione di Hadoop

Puoi trovare tutti i file di configurazione di Hadoop nella posizione "$ HADOOP_HOME / etc / hadoop". È necessario apportare modifiche a tali file di configurazione in base alla propria infrastruttura Hadoop.

$ cd $HADOOP_HOME/etc/hadoop

Per sviluppare programmi Hadoop in Java, è necessario reimpostare le variabili d'ambiente Java in hadoop-env.sh file sostituendo JAVA_HOME valore con la posizione di Java nel sistema.

export JAVA_HOME = /usr/local/jdk1.7.0_71

Di seguito è riportato l'elenco dei file che devi modificare per configurare Hadoop:

• core-site.xml
• hdfs-site.xml
• yarn-site.xml
• mapred-site.xml

core-site.xml

Il core-site.xml file contiene informazioni come il numero di porta utilizzato per l'istanza Hadoop, la memoria allocata per il file system, il limite di memoria per l'archiviazione dei dati e la dimensione dei buffer di lettura / scrittura.

Apri core-site.xml e aggiungi le seguenti proprietà all'interno dei tag <configuration>, </configuration>.

<configuration> 
   <property>     
      <name>fs.default.name</name>     
      <value>hdfs://localhost:9000</value>   
   </property> 
</configuration>

hdfs-site.xml

Il hdfs-site.xml file contiene informazioni come il valore dei dati di replica, namenode percorso e datanodepercorsi dei file system locali. Significa il luogo in cui si desidera archiviare l'infrastruttura Hadoop.

Assumiamo i seguenti dati.

dfs.replication (data replication value) = 1  

(In the below given path /hadoop/ is the user name. 
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.) 
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode  

(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.) 
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

Apri questo file e aggiungi le seguenti proprietà all'interno dei tag <configuration>, </configuration>.

<configuration> 
   <property>     
      <name>dfs.replication</name>     
      <value>1</value>   
   </property>  
   
   <property>     
      <name>dfs.name.dir</name>     
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>   
   </property>  
   
   <property>     
      <name>dfs.data.dir</name>     
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>   
   </property> 
</configuration>

Note - Nel file sopra, tutti i valori delle proprietà sono definiti dall'utente ed è possibile apportare modifiche in base alla propria infrastruttura Hadoop.

yarn-site.xml

Questo file viene utilizzato per configurare il filato in Hadoop. Apri il file filato-site.xml e aggiungi le seguenti proprietà tra i tag <configuration>, </configuration> in questo file.

<configuration> 
   <property>     
      <name>yarn.nodemanager.aux-services</name>     
      <value>mapreduce_shuffle</value>   
   </property> 
</configuration>

mapred-site.xml

Questo file viene utilizzato per specificare quale framework MapReduce stiamo utilizzando. Per impostazione predefinita, Hadoop contiene un modello di filato-site.xml. Prima di tutto, è necessario copiare il file damapred-site,xml.template per mapred-site.xml file utilizzando il seguente comando.

$ cp mapred-site.xml.template mapred-site.xml

Aperto mapred-site.xml file e aggiungi le seguenti proprietà all'interno dei tag <configuration>, </configuration>.

<configuration> 
   <property>     
      <name>mapreduce.framework.name</name>     
      <value>yarn</value>   
   </property> 
</configuration>

Verifica dell'installazione di Hadoop

I seguenti passaggi vengono utilizzati per verificare l'installazione di Hadoop.

Passaggio 1: configurazione del nodo del nome

Impostare il namenode utilizzando il comando "hdfs namenode –format" come segue.

$ cd ~ 
$ hdfs namenode -format

Il risultato atteso è il seguente.

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG:   host = localhost/192.168.1.11 
STARTUP_MSG:   args = [-format] STARTUP_MSG:   version = 2.6.4 
... 
... 
10/24/14 21:30:56 INFO common.Storage: Storage directory 
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted. 
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to retain 1 
images with txid >= 0 
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0 
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11 
************************************************************/

Passaggio 2: verifica del file dfs di Hadoop

Il comando seguente viene utilizzato per avviare il dfs di Hadoop. L'esecuzione di questo comando avvierà il tuo file system Hadoop.

$ start-dfs.sh

L'output previsto è il seguente:

10/24/14 21:37:56 
Starting namenodes on [localhost] 
localhost: starting namenode, logging to /home/hadoop/hadoop-2.6.4/logs/hadoop-
hadoop-namenode-localhost.out 
localhost: starting datanode, logging to /home/hadoop/hadoop-2.6.4/logs/hadoop-
hadoop-datanode-localhost.out 
Starting secondary namenodes [0.0.0.0]

Passaggio 3: verifica dello script del filato

Il seguente comando viene utilizzato per avviare lo script Yarn. L'esecuzione di questo comando avvierà i tuoi demoni Yarn.

$ start-yarn.sh

L'output previsto come segue:

starting yarn daemons 
starting resourcemanager, logging to /home/hadoop/hadoop-2.6.4/logs/yarn-
hadoop-resourcemanager-localhost.out 
localhost: starting nodemanager, logging to /home/hadoop/hadoop-
2.6.4/logs/yarn-hadoop-nodemanager-localhost.out

Passaggio 4: accesso a Hadoop sul browser

Il numero di porta predefinito per accedere a Hadoop è 50070. Utilizza il seguente URL per ottenere i servizi Hadoop sul browser.

http://localhost:50070/

Installazione di Solr su Hadoop

Seguire i passaggi indicati di seguito per scaricare e installare Solr.

Passo 1

Aprire la homepage di Apache Solr facendo clic sul seguente collegamento - https://lucene.apache.org/solr/

Passo 2

Clicca il download button(evidenziato nello screenshot sopra). Facendo clic, verrai reindirizzato alla pagina in cui sono presenti vari mirror di Apache Solr. Seleziona un mirror e fai clic su di esso, che ti reindirizzerà a una pagina in cui puoi scaricare i file sorgente e binari di Apache Solr, come mostrato nello screenshot seguente.

Passaggio 3

Facendo clic, una cartella denominata Solr-6.2.0.tqzverrà scaricato nella cartella dei download del tuo sistema. Estrai il contenuto della cartella scaricata.

Passaggio 4

Crea una cartella denominata Solr nella home directory di Hadoop e sposta il contenuto della cartella estratta in essa, come mostrato di seguito.

$ mkdir Solr 
$ cd Downloads 
$ mv Solr-6.2.0 /home/Hadoop/

Verifica

Sfoglia il file bin cartella della directory Home di Solr e verificare l'installazione utilizzando il version opzione, come mostrato nel seguente blocco di codice.

$ cd bin/ 
$ ./Solr version 
6.2.0

Impostare casa e percorso

Apri il .bashrc file utilizzando il seguente comando:

[[email protected] ~]$ source ~/.bashrc

Ora imposta le directory home e path per Apache Solr come segue:

export SOLR_HOME = /home/Hadoop/Solr  
export PATH = $PATH:/$SOLR_HOME/bin/

Apri il terminale ed esegui il seguente comando:

[[email protected] Solr]$ source ~/.bashrc

Ora puoi eseguire i comandi di Solr da qualsiasi directory.