Test ETL - Automazione

I test ETL vengono eseguiti principalmente utilizzando script SQL e raccogliendo i dati in fogli di calcolo. Questo approccio per eseguire i test ETL è molto lento, richiede tempo, è soggetto a errori e viene eseguito su dati di esempio.

Sfida tecnica nel test ETL manuale

Il tuo team di test ETL scrive query SQL per testare i dati in un sistema di magazzino e devono eseguirli manualmente utilizzando un editor SQL, quindi inserire i dati in un foglio di calcolo Excel e confrontarli manualmente. Questo processo è dispendioso in termini di tempo, risorse e inefficiente.

Ci sono vari strumenti disponibili sul mercato per automatizzare questo processo. Gli strumenti di test ETL più comuni sono QuerySurge e Informatica Data Validation.

QuerySurge

QuerySurge è una soluzione di test dei dati progettata per testare Big Data, Data Warehouse e il processo ETL. Può automatizzare l'intero processo per te e adattarsi perfettamente alla tua strategia DevOps.

Le caratteristiche principali di QuerySurge sono le seguenti:

  • Ha Query Wizards per creare QueryPairs di prova velocemente e facilmente senza che l'utente debba scrivere alcun SQL.

  • Ha una libreria di progetto con frammenti di query riutilizzabili. Puoi anche creare QueryPairs personalizzate.

  • Può confrontare i dati dai file di origine e dagli archivi dati al data warehouse o all'archivio Big Data di destinazione.

  • Può confrontare milioni di righe e colonne di dati in pochi minuti.

  • Consente all'utente di programmare l'esecuzione dei test (1) immediatamente, (2) in qualsiasi data / ora o (3) automaticamente al termine di un evento.

  • Può produrre report informativi, visualizzare aggiornamenti e risultati di posta elettronica automatica al tuo team.

Per automatizzare l'intero processo, lo strumento ETL dovrebbe avviare QuerySurge tramite l'API della riga di comando dopo che il software ETL ha completato il processo di caricamento.

QuerySurge verrà eseguito automaticamente e non presidiato, eseguendo tutti i test e quindi inviando un'email a tutti i membri del team con i risultati.

Proprio come QuerySurge, Informatica Data Validation fornisce uno strumento di test ETL che ti aiuta ad accelerare e automatizzare il processo di test ETL nell'ambiente di sviluppo e produzione. Consente di fornire una copertura dei test completa, ripetibile e verificabile in meno tempo. Non richiede abilità di programmazione!