Apache Flume - Ambiente

Abbiamo già discusso dell'architettura di Flume nel capitolo precedente. In questo capitolo, vediamo come scaricare e configurare Apache Flume.

Prima di procedere oltre, è necessario disporre di un ambiente Java nel sistema. Quindi, prima di tutto, assicurati di avere Java installato nel tuo sistema. Per alcuni esempi in questo tutorial, abbiamo utilizzato Hadoop HDFS (come sink). Pertanto, ti consigliamo di installare Hadoop insieme a Java. Per raccogliere maggiori informazioni, segui il link -http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm

Installazione di Flume

Prima di tutto, scarica l'ultima versione del software Apache Flume dal sito web https://flume.apache.org/.

Passo 1

Apri il sito web. Clicca suldownloadlink sul lato sinistro della home page. Ti porterà alla pagina di download di Apache Flume.

Passo 2

Nella pagina Download, puoi vedere i collegamenti per i file binari e sorgenti di Apache Flume. Fare clic sul collegamento apache-flume-1.6.0-bin.tar.gz

Verrai reindirizzato a un elenco di mirror in cui puoi avviare il download facendo clic su uno di questi mirror. Allo stesso modo, puoi scaricare il codice sorgente di Apache Flume facendo clic su apache-flume-1.6.0-src.tar.gz .

Passaggio 3

Creare una directory con il nome Flume nella stessa directory in cui si trovano le directory di installazione di Hadoop, HBasee altri software sono stati installati (se ne è già stato installato uno) come mostrato di seguito.

$ mkdir Flume

Passaggio 4

Estrarre i file tar scaricati come mostrato di seguito.

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

Passaggio 5

Sposta il contenuto di apache-flume-1.6.0-bin.tar file in Flumedirectory creata in precedenza come mostrato di seguito. (Supponiamo di aver creato la directory Flume nell'utente locale denominato Hadoop.)

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

Configurazione di Flume

Per configurare Flume, dobbiamo modificare tre file vale a dire, flume-env.sh, flumeconf.properties, e bash.rc.

Impostazione del percorso / classpath

Nel .bashrc file, imposta la cartella home, il percorso e il classpath per Flume come mostrato di seguito.

conf Folder

Se apri il file conf cartella di Apache Flume, avrai i seguenti quattro file:

  • flume-conf.properties.template,
  • flume-env.sh.template,
  • flume-env.ps1.template e
  • log4j.properties.

Ora rinomina

  • flume-conf.properties.template file come flume-conf.properties e

  • flume-env.sh.template come flume-env.sh

flume-env.sh

Aperto flume-env.sh file e imposta il file JAVA_Home nella cartella in cui è stato installato Java nel sistema.

Verifica dell'installazione

Verificare l'installazione di Apache Flume sfogliando il file bin cartella e digitando il seguente comando.

$ ./flume-ng

Se hai installato correttamente Flume, riceverai un prompt di aiuto di Flume come mostrato di seguito.