ETL - Ruoli del tester

Un tester ETL è principalmente responsabile della convalida delle origini dati, dell'estrazione dei dati, dell'applicazione della logica di trasformazione e del caricamento dei dati nelle tabelle di destinazione.

Le responsabilità chiave di un tester ETL sono elencate di seguito.

Verifica le tabelle nel sistema di origine

Comporta le seguenti operazioni:

  • Conta controllare
  • Riconciliare i record con i dati di origine
  • Controllo del tipo di dati
  • Assicurati che non siano stati caricati dati di spam
  • Rimuovi i dati duplicati
  • Controlla che tutte le chiavi siano a posto

Applicare la logica di trasformazione

La logica di trasformazione viene applicata prima del caricamento dei dati. Comporta le seguenti operazioni:

  • Controllo di convalida della soglia dei dati, ad esempio, il valore dell'età non deve essere superiore a 100.

  • Controllo del conteggio dei record, prima e dopo la logica di trasformazione applicata.

  • Validazione del flusso di dati dall'area di staging alle tabelle intermedie.

  • Controllo della chiave surrogata.

Caricamento dei dati

I dati vengono caricati dall'area di gestione temporanea al sistema di destinazione. Comporta le seguenti operazioni:

  • Registrare il controllo del conteggio dalla tabella intermedia al sistema di destinazione.

  • Assicurati che i dati del campo chiave non siano mancanti o Null.

  • Verificare se i valori aggregati e le misure calcolate sono caricati nelle tabelle dei fatti.

  • Verificare le viste di modellazione in base alle tabelle di destinazione.

  • Verificare se CDC è stato applicato alla tabella di carico incrementale.

  • Controllo dei dati nella tabella delle dimensioni e controllo della tabella della cronologia.

  • Controllare i report BI in base ai fatti caricati e alla tabella delle dimensioni e in base ai risultati attesi.

Test degli strumenti ETL

I tester ETL sono tenuti a testare gli strumenti e anche i casi di test. Comporta le seguenti operazioni:

  • Testare lo strumento ETL e le sue funzioni
  • Testare il sistema ETL Data Warehouse
  • Crea, progetta ed esegui i piani di test e gli scenari di test.
  • Testare i trasferimenti di dati di file flat.