Hadoop - Panoramica di HDFS

Hadoop File System è stato sviluppato utilizzando un file system distribuito. Viene eseguito su hardware di base. A differenza di altri sistemi distribuiti, HDFS è altamente tollerante ai guasti e progettato utilizzando hardware a basso costo.

HDFS contiene una quantità molto grande di dati e fornisce un accesso più facile. Per archiviare dati così enormi, i file vengono archiviati su più macchine. Questi file vengono archiviati in modo ridondante per salvare il sistema da possibili perdite di dati in caso di guasto. HDFS rende anche le applicazioni disponibili per l'elaborazione parallela.

Caratteristiche di HDFS

  • È adatto per lo stoccaggio e l'elaborazione distribuiti.
  • Hadoop fornisce un'interfaccia di comando per interagire con HDFS.
  • I server integrati di namenode e datanode aiutano gli utenti a controllare facilmente lo stato del cluster.
  • Accesso in streaming ai dati del file system.
  • HDFS fornisce autorizzazioni e autenticazione per i file.

Architettura HDFS

Di seguito è riportata l'architettura di un file system Hadoop.

HDFS segue l'architettura master-slave e ha i seguenti elementi.

Namenode

Il namenode è l'hardware di base che contiene il sistema operativo GNU / Linux e il software namenode. È un software che può essere eseguito su hardware di base. Il sistema con namenode funge da server principale e svolge le seguenti attività:

  • Gestisce lo spazio dei nomi del file system.

  • Regola l'accesso del cliente ai file.

  • Esegue anche operazioni di file system come rinominare, chiudere e aprire file e directory.

Datanode

Il datanode è un hardware di base con il sistema operativo GNU / Linux e il software datanode. Per ogni nodo (hardware / sistema merceologico) in un cluster, ci sarà un codice dati. Questi nodi gestiscono l'archiviazione dei dati del loro sistema.

  • I codici dati eseguono operazioni di lettura e scrittura sui file system, secondo la richiesta del client.

  • Eseguono anche operazioni come la creazione, l'eliminazione e la replica di blocchi secondo le istruzioni del namenode.

Bloccare

Generalmente i dati dell'utente vengono archiviati nei file di HDFS. Il file in un file system verrà suddiviso in uno o più segmenti e / o archiviato in singoli nodi di dati. Questi segmenti di file sono chiamati come blocchi. In altre parole, la quantità minima di dati che HDFS può leggere o scrivere è chiamata Blocco. La dimensione predefinita del blocco è 64 MB, ma può essere aumentata in base alla necessità di modificare la configurazione HDFS.

Obiettivi di HDFS

Fault detection and recovery- Poiché HDFS include un gran numero di hardware di base, il guasto dei componenti è frequente. Pertanto, HDFS dovrebbe disporre di meccanismi per il rilevamento e il ripristino rapidi e automatici dei guasti.

Huge datasets - HDFS dovrebbe avere centinaia di nodi per cluster per gestire le applicazioni con enormi set di dati.

Hardware at data- Un'attività richiesta può essere eseguita in modo efficiente, quando il calcolo avviene vicino ai dati. Soprattutto quando sono coinvolti enormi set di dati, riduce il traffico di rete e aumenta il throughput.