MapReduce - Amministrazione Hadoop

Questo capitolo spiega l'amministrazione di Hadoop che include sia l'amministrazione di HDFS che di MapReduce.

  • L'amministrazione di HDFS include il monitoraggio della struttura dei file HDFS, dei percorsi e dei file aggiornati.

  • L'amministrazione di MapReduce include il monitoraggio dell'elenco delle applicazioni, la configurazione dei nodi, lo stato dell'applicazione, ecc.

Monitoraggio HDFS

HDFS (Hadoop Distributed File System) contiene le directory utente, i file di input e i file di output. Usa i comandi MapReduce,put e get, per la memorizzazione e il recupero.

Dopo aver avviato il framework Hadoop (daemon) passando il comando “start-all.sh” su “/ $ HADOOP_HOME / sbin”, passare il seguente URL al browser “http: // localhost: 50070”. Dovresti vedere la seguente schermata sul tuo browser.

Lo screenshot seguente mostra come sfogliare il browser HDFS.

Lo screenshot seguente mostra la struttura dei file di HDFS. Mostra i file nella directory "/ user / hadoop".

Lo screenshot seguente mostra le informazioni sul Datanode in un cluster. Qui puoi trovare un nodo con le sue configurazioni e capacità.

MapReduce Job Monitoring

Un'applicazione MapReduce è una raccolta di lavori (lavoro Mappa, Combinatore, Partizionatore e lavoro Riduci). È obbligatorio monitorare e mantenere quanto segue:

  • Configurazione del datanode in cui l'applicazione è adatta.
  • Il numero di codici dati e risorse utilizzati per applicazione.

Per monitorare tutte queste cose, è fondamentale disporre di un'interfaccia utente. Dopo aver avviato il framework Hadoop passando il comando “start-all.sh” su “/ $ HADOOP_HOME / sbin”, passare il seguente URL al browser “http: // localhost: 8080”. Dovresti vedere la seguente schermata sul tuo browser.

Nella schermata sopra, il puntatore della mano si trova sull'ID dell'applicazione. Basta fare clic su di esso per trovare la seguente schermata sul tuo browser. Descrive quanto segue:

  • Su quale utente è in esecuzione l'applicazione corrente

  • Il nome dell'applicazione

  • Tipo di tale applicazione

  • Stato attuale, stato finale

  • Ora di avvio dell'applicazione, trascorso (tempo di completamento), se è completo al momento del monitoraggio

  • La cronologia di questa applicazione, ovvero le informazioni di registro

  • E infine, le informazioni sui nodi, ovvero i nodi che hanno partecipato all'esecuzione dell'applicazione.

La seguente schermata mostra i dettagli di una particolare applicazione:

Lo screenshot seguente descrive le informazioni sui nodi attualmente in esecuzione. Qui, lo screenshot contiene un solo nodo. Un puntatore a mano mostra l'indirizzo localhost del nodo in esecuzione.