Maiale Apache - PigStorage ()

Il PigStorage()funzione carica e memorizza i dati come file di testo strutturato. Ci vuole un delimitatore usando il quale ogni entità di una tupla è separata come parametro. Per impostazione predefinita, ci vuole‘\t’ come parametro.

Sintassi

Di seguito è riportata la sintassi di PigStorage() funzione.

grunt> PigStorage(field_delimiter)

Esempio

Supponiamo di avere un file denominato student_data.txt nella directory HDFS denominata /data/ con il seguente contenuto.

001,Rajiv,Reddy,9848022337,Hyderabad
002,siddarth,Battacharya,9848022338,Kolkata 
003,Rajesh,Khanna,9848022339,Delhi  
004,Preethi,Agarwal,9848022330,Pune 
005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar
006,Archana,Mishra,9848022335,Chennai.

Possiamo caricare i dati utilizzando la funzione PigStorage come mostrato di seguito.

grunt> student = LOAD 'hdfs://localhost:9000/pig_data/student_data.txt' USING PigStorage(',')
   as ( id:int, firstname:chararray, lastname:chararray, phone:chararray, city:chararray );

Nell'esempio sopra, abbiamo visto che abbiamo usato la virgola (‘,’)delimitatore. Pertanto, abbiamo separato i valori di un record utilizzando(,).

Allo stesso modo, possiamo usare il file PigStorage() funzione per memorizzare i dati nella directory HDFS come mostrato di seguito.

grunt> STORE student INTO ' hdfs://localhost:9000/pig_Output/ ' USING PigStorage (',');

Questo memorizzerà i dati nella directory data. È possibile verificare i dati come mostrato di seguito.

Verifica

È possibile verificare i dati memorizzati come mostrato di seguito. Prima di tutto, elenca i file nella directory denominatapig_output utilizzando ls comando come mostrato di seguito.

$ hdfs dfs -ls 'hdfs://localhost:9000/pig_Output/'
 
Found 2 items 
rw-r--r- 1 Hadoop supergroup 0 2015-10-05 13:03 hdfs://localhost:9000/pig_Output/_SUCCESS
 
rw-r--r- 1 Hadoop supergroup 224 2015-10-05 13:03 hdfs://localhost:9000/pig_Output/part-m-00000

È possibile osservare che due file sono stati creati dopo aver eseguito il Store dichiarazione.

Quindi, utilizzando il cat comando, elenca il contenuto del file denominato part-m-00000 come mostrato di seguito.

$ hdfs dfs -cat 'hdfs://localhost:9000/pig_Output/part-m-00000'
  
1,Rajiv,Reddy,9848022337,Hyderabad  
2,siddarth,Battacharya,9848022338,Kolkata  
3,Rajesh,Khanna,9848022339,Delhi  
4,Preethi,Agarwal,9848022330,Pune  
5,Trupthi,Mohanthy,9848022336,Bhuwaneshwar 
6,Archana,Mishra,9848022335,Chennai