Test ETL - Introduzione

I dati in un sistema Data Warehouse vengono caricati con uno strumento ETL (Extract, Transform, Load). Come suggerisce il nome, esegue le seguenti tre operazioni:

  • Estrae i dati dal tuo sistema transazionale che può essere un Oracle, Microsoft o qualsiasi altro database relazionale,

  • Trasforma i dati eseguendo operazioni di pulizia dei dati e quindi

  • Carica i dati nel data warehouse OLAP.

È inoltre possibile estrarre dati da file flat come fogli di calcolo e file CSV utilizzando uno strumento ETL e caricarli in un data warehouse OLAP per l'analisi e il reporting dei dati. Facciamo un esempio per capirlo meglio.

Esempio

Supponiamo che ci sia un'azienda di produzione con più reparti come vendite, risorse umane, gestione materiali, EWM, ecc. Tutti questi reparti hanno database separati che usano per mantenere le informazioni rispetto al loro lavoro e ogni database ha una tecnologia, un panorama, una tabella differenti nomi, colonne, ecc. Ora, se l'azienda desidera analizzare i dati storici e generare report, tutti i dati da queste origini dati devono essere estratti e caricati in un Data Warehouse per salvarli per il lavoro analitico.

Uno strumento ETL estrae i dati da tutte queste origini dati eterogenee, trasforma i dati (come applicare calcoli, unire campi, chiavi, rimuovere campi dati errati, ecc.) E li carica in un Data Warehouse. Successivamente, è possibile utilizzare vari strumenti di Business Intelligence (BI) per generare report, dashboard e visualizzazioni significativi utilizzando questi dati.

Differenza tra ETL e BI Tools

Uno strumento ETL viene utilizzato per estrarre dati da diverse origini dati, trasformare i dati e caricarli in un sistema DW; tuttavia, uno strumento BI viene utilizzato per generare report interattivi e ad-hoc per gli utenti finali, dashboard per il senior management, visualizzazioni di dati per riunioni del consiglio mensili, trimestrali e annuali.

Gli strumenti ETL più comuni includono: SAP BO Data Services (BODS), Informatica - Power Center, Microsoft - SSIS, Oracle Data Integrator ODI, Talend Open Studio, Clover ETL Open source, ecc.

Alcuni strumenti di BI popolari includono: SAP Business Objects, SAP Lumira, IBM Cognos, JasperSoft, Microsoft BI Platform, Tableau, Oracle Business Intelligence Enterprise Edition, ecc.

Processo ETL

Discutiamo ora un po 'più in dettaglio i passaggi chiave coinvolti in una procedura ETL -

Estrazione dei dati

Implica l'estrazione dei dati da diverse origini dati eterogenee. L'estrazione dei dati da un sistema transazionale varia in base ai requisiti e allo strumento ETL in uso. Normalmente viene eseguito eseguendo lavori pianificati in orari non lavorativi come l'esecuzione di lavori di notte o durante il fine settimana.

Trasformare i dati

Implica la trasformazione dei dati in un formato adatto che può essere facilmente caricato in un sistema DW. La trasformazione dei dati implica l'applicazione di calcoli, join e la definizione di chiavi primarie ed esterne sui dati. Ad esempio, se si desidera la% delle entrate totali che non è nel database, si applicherà la formula% in trasformazione e si caricheranno i dati. Allo stesso modo, se hai il nome e il cognome degli utenti in colonne diverse, puoi applicare un'operazione di concatenazione prima di caricare i dati. Alcuni dati non richiedono alcuna trasformazione; tali dati sono noti comedirect move o pass through data.

La trasformazione dei dati comporta anche la correzione e la pulizia dei dati, la rimozione di dati errati, la formazione di dati incompleti e la correzione degli errori dei dati. Include anche l'integrità dei dati e la formattazione di dati incompatibili prima di caricarli in un sistema DW.

Caricamento dei dati in un sistema DW

Implica il caricamento dei dati in un sistema DW per report e informazioni analitiche. Il sistema di destinazione può essere un semplice file flat delimitato o un data warehouse.

Funzione strumento ETL

Un tipico data warehouse basato su strumenti ETL utilizza l'area di staging, l'integrazione dei dati e i livelli di accesso per eseguire le sue funzioni. Normalmente è un'architettura a 3 strati.

  • Staging Layer - Il livello di gestione temporanea o il database di gestione temporanea viene utilizzato per memorizzare i dati estratti da diversi sistemi di dati di origine.

  • Data Integration Layer - Il livello di integrazione trasforma i dati dal livello di staging e sposta i dati in un database, dove i dati sono organizzati in gruppi gerarchici, spesso chiamati dimensionse in facts e aggregate facts. La combinazione di tabelle di fatti e dimensioni in un sistema DW è chiamata aschema.

  • Access Layer - Il livello di accesso viene utilizzato dagli utenti finali per recuperare i dati per report e informazioni analitiche.

La seguente illustrazione mostra come i tre livelli interagiscono tra loro.