Apache Tajo - OpenStack Swift Integration

Swift è un archivio di oggetti / blob distribuito e coerente. Swift offre un software di archiviazione cloud in modo da poter archiviare e recuperare molti dati con una semplice API. Tajo supporta l'integrazione Swift.

I seguenti sono i prerequisiti di Swift Integration:

• Swift
• Hadoop

Core-site.xml

Aggiungi le seguenti modifiche al file hadoop "core-site.xml":

<property> 
   <name>fs.swift.impl</name> 
   <value>org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem</value> 
   <description>File system implementation for Swift</description> 
</property>  

<property> 
   <name>fs.swift.blocksize</name> 
   <value>131072</value> 
   <description>Split size in KB</description> 
</property>

Questo verrà utilizzato da Hadoop per accedere agli oggetti Swift. Dopo aver apportato tutte le modifiche, spostati nella directory Tajo per impostare la variabile di ambiente Swift.

conf / tajo-env.h

Apri il file di configurazione Tajo e aggiungi set la variabile d'ambiente come segue:

$ vi conf/tajo-env.h  
export TAJO_CLASSPATH = $HADOOP_HOME/share/hadoop/tools/lib/hadoop-openstack-x.x.x.jar

Ora Tajo sarà in grado di interrogare i dati utilizzando Swift.

Crea tabella

Creiamo una tabella esterna per accedere agli oggetti Swift in Tajo come segue:

default> create external table swift(num1 int, num2 text, num3 float) 
   using text with ('text.delimiter' = '|') location 'swift://bucket-name/table1';

Dopo che la tabella è stata creata, è possibile eseguire le query SQL.