Data Warehouse - ETL e strumenti di reporting

Uno strumento ETL estrae i dati da tutte queste origini dati eterogenee, trasforma i dati (come applicare calcoli, unire campi, chiavi, rimuovere campi dati errati, ecc.) E li carica in un Data Warehouse.

Estrazione

Un'area di staging è richiesta durante il caricamento ETL. Ci sono vari motivi per cui è richiesta un'area di sosta. I sistemi di origine sono disponibili solo per un periodo di tempo specifico per l'estrazione dei dati. Questo periodo di tempo è inferiore al tempo totale di caricamento dei dati. Pertanto, l'area di staging consente di estrarre i dati dal sistema di origine e di conservarli nell'area di staging prima della fine della fascia oraria.

L'area di staging è necessaria quando si desidera ottenere i dati da più origini dati insieme o se si desidera unire due o più sistemi insieme.

For example - Non sarà possibile eseguire una query SQL unendo due tabelle da due database fisicamente diversi.

La fascia oraria delle estrazioni dei dati per i diversi sistemi varia in base al fuso orario e alle ore di funzionamento. I dati estratti dai sistemi di origine possono essere utilizzati in più sistemi di data warehouse, archivi di dati operativi, ecc.

ETL consente di eseguire trasformazioni complesse e richiede un'area aggiuntiva per memorizzare i dati.

Trasformare

Nella trasformazione dei dati, si applica una serie di funzioni ai dati estratti per caricarli nel sistema di destinazione. I dati che non richiedono alcuna trasformazione sono noti come spostamento diretto o passaggio di dati.

È possibile applicare diverse trasformazioni ai dati estratti dal sistema di origine. Ad esempio, puoi eseguire calcoli personalizzati. Se si desidera la somma delle entrate delle vendite e questa non è nel database, è possibile applicare la formula SUM durante la trasformazione e caricare i dati.

For example - Se hai il nome e il cognome in una tabella in colonne diverse, puoi usare concatenate prima del caricamento.

Caricare

Durante la fase di caricamento, i dati vengono caricati nel sistema di destinazione finale e possono essere un file flat o un sistema di Data Warehouse.

Strumento di reporting BI

Gli strumenti BI (Business Intelligence) vengono utilizzati dagli utenti aziendali per creare report di base, medi e complessi dai dati transazionali nel data warehouse e creando universi utilizzando il Information Design Tool/UDT. È possibile utilizzare varie origini dati SAP e non SAP per creare report.

Sul mercato sono disponibili diversi strumenti di BI Reporting, Dashboard e Data Visualization. Alcuni dei quali sono i seguenti:

  • SAP Business Objects Web Intelligence (WebI)
  • Crystal Reports
  • SAP Lumira
  • Designer di dashboard
  • IBM Cognos
  • Piattaforma BI Microsoft
  • Tableau Business Intelligence
  • JasperSoft
  • Oracle BI OBIEE
  • Pentaho
  • QlickView
  • SAP BW
  • SAS Business Intelligence
  • Necto
  • Tibco Spotfire