Test ETL - Tecniche

È importante definire la corretta tecnica di test ETL prima di iniziare il processo di test. È necessario accettare l'accettazione di tutte le parti interessate e assicurarsi che sia selezionata una tecnica corretta per eseguire i test ETL. Questa tecnica dovrebbe essere ben nota al team di test e dovrebbero essere consapevoli dei passaggi coinvolti nel processo di test.

Esistono vari tipi di tecniche di test che possono essere utilizzate. In questo capitolo discuteremo brevemente le tecniche di test.

Test di convalida della produzione

Per eseguire rapporti e analisi analitiche, i dati nella produzione devono essere corretti. Questo test viene eseguito sui dati che vengono spostati nel sistema di produzione. Implica la convalida dei dati nel sistema di produzione e il confronto con i dati di origine.

Test di conteggio da origine a destinazione

Questo tipo di test viene eseguito quando il tester ha meno tempo per eseguire l'operazione di test. Implica il controllo del conteggio dei dati nei sistemi di origine e di destinazione. Non implica il controllo dei valori dei dati nel sistema di destinazione. Inoltre non implica se i dati sono in ordine crescente o decrescente dopo la mappatura dei dati.

Test dei dati da origine a destinazione

In questo tipo di test, un tester convalida i valori dei dati dall'origine al sistema di destinazione. Controlla i valori dei dati nel sistema di origine e i valori corrispondenti nel sistema di destinazione dopo la trasformazione. Questo tipo di test richiede tempo e viene normalmente eseguito in progetti finanziari e bancari.

Data Integration / Threshold Value Validation Testing

In questo tipo di test, un tester convalida la gamma di dati. Tutti i valori di soglia nel sistema di destinazione vengono controllati se corrispondono al risultato atteso. Comprende anche l'integrazione dei dati nel sistema di destinazione da più sistemi di origine dopo la trasformazione e il caricamento.

Example - L'attributo Age non deve avere un valore maggiore di 100. Nella colonna della data GG / MM / AA, il campo del mese non deve avere un valore maggiore di 12.

Test della migrazione delle applicazioni

Il test di migrazione dell'applicazione viene normalmente eseguito automaticamente quando si passa da una vecchia applicazione a un nuovo sistema applicativo. Questo test consente di risparmiare molto tempo. Controlla se i dati estratti da una vecchia applicazione sono gli stessi dei dati nel nuovo sistema applicativo.

Controllo dei dati e test dei vincoli

Include l'esecuzione di vari controlli come il controllo del tipo di dati, il controllo della lunghezza dei dati e il controllo dell'indice. Qui un tecnico di test esegue i seguenti scenari: chiave primaria, chiave esterna, NOT NULL, NULL e UNIQUE.

Duplicate Data Check Testing

Questo test comporta il controllo di dati duplicati nel sistema di destinazione. Quando è presente un'enorme quantità di dati nel sistema di destinazione, è possibile che nel sistema di produzione siano presenti dati duplicati che potrebbero generare dati non corretti nei rapporti analitici.

I valori duplicati possono essere controllati con l'istruzione SQL come -

Select Cust_Id, Cust_NAME, Quantity, COUNT (*) 
FROM Customer
GROUP BY Cust_Id, Cust_NAME, Quantity HAVING COUNT (*) >1;

I dati duplicati vengono visualizzati nel sistema di destinazione per i seguenti motivi:

• Se non viene definita alcuna chiave primaria, potrebbero essere presenti valori duplicati.
• A causa di mappatura errata o problemi ambientali.
• Errori manuali durante il trasferimento dei dati dall'origine al sistema di destinazione.

Test di trasformazione dei dati

Il test della trasformazione dei dati non viene eseguito eseguendo una singola istruzione SQL. Richiede tempo e comporta l'esecuzione di più query SQL per ogni riga per verificare le regole di trasformazione. Il tester deve eseguire query SQL per ogni riga e quindi confrontare l'output con i dati di destinazione.

Test di qualità dei dati

Il test di qualità dei dati implica l'esecuzione di un controllo del numero, del controllo della data, del controllo dello zero, del controllo della precisione, ecc Syntax Test per segnalare caratteri non validi, ordine maiuscolo / minuscolo errato, ecc. e Reference Tests per verificare se i dati sono conformi al modello di dati.

Test incrementali

Viene eseguito un test incrementale per verificare se le istruzioni Insert e Update vengono eseguite secondo il risultato atteso. Questo test viene eseguito passo dopo passo con dati vecchi e nuovi.

Test di regressione

Quando apportiamo modifiche alla trasformazione dei dati e alle regole di aggregazione per aggiungere nuove funzionalità che aiutano anche il tester a trovare nuovi errori, si parla di test di regressione. I bug nei dati che arrivano nei test di regressione sono chiamati Regression.

Nuovo test

Quando si eseguono i test dopo aver corretto i codici, si parla di ripetizione del test.

Test di integrazione del sistema

Il test di integrazione del sistema comporta il test dei componenti di un sistema individualmente e successivamente l'integrazione dei moduli. Esistono tre modi in cui è possibile eseguire un'integrazione di sistema: top-down, bottom-up e ibrida.

Test di navigazione

Il test di navigazione è noto anche come test del front-end del sistema. Coinvolge il test del punto di vista dell'utente finale controllando tutti gli aspetti del report front-end - include dati in vari campi, calcoli e aggregati, ecc.