Apache Pig - Gestione della compressione

Possiamo caricare e memorizzare dati compressi in Apache Pig usando le funzioni BinStorage() e TextLoader().

Esempio

Supponiamo di avere un file denominato employee.txt.zip nella directory HDFS /pigdata/. Quindi, possiamo caricare il file compresso in pig come mostrato di seguito.

Using PigStorage: 
 
grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING PigStorage(','); 
 
Using TextLoader:
  
grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING TextLoader;

Allo stesso modo, possiamo memorizzare i file compressi in pig come mostrato di seguito.

Using PigStorage:
  
grunt> store data INTO 'hdfs://localhost:9000/pig_Output/data.bz' USING PigStorage(',');