Data Warehousing - Processi di sistema

Abbiamo un numero fisso di operazioni da applicare sui database operativi e abbiamo tecniche ben definite come use normalized data, keep table small, ecc. Queste tecniche sono adatte per fornire una soluzione. Ma in caso di sistemi di supporto decisionale, non sappiamo quale query e operazione devono essere eseguite in futuro. Pertanto le tecniche applicate sui database operativi non sono adatte ai data warehouse.

In questo capitolo, discuteremo come costruire soluzioni di data warehousing sulle migliori tecnologie a sistema aperto come Unix e database relazionali.

Flusso di processo nel data warehouse

Esistono quattro processi principali che contribuiscono a un data warehouse:

  • Estrai e carica i dati.
  • Pulizia e trasformazione dei dati.
  • Backup e archiviazione dei dati.
  • Gestire le query e indirizzarle alle origini dati appropriate.

Estrazione e caricamento del processo

L'estrazione dei dati prende i dati dai sistemi di origine. Il caricamento dei dati prende i dati estratti e li carica nel data warehouse.

Note - Prima di caricare i dati nel data warehouse, è necessario ricostruire le informazioni estratte dalle fonti esterne.

Controllo del processo

Il controllo del processo implica la determinazione del momento in cui avviare l'estrazione dei dati e il controllo della coerenza dei dati. Il processo di controllo garantisce che gli strumenti, i moduli logici ei programmi vengano eseguiti nella sequenza corretta e al momento giusto.

Quando avviare l'estrazione

I dati devono essere in uno stato coerente quando vengono estratti, ovvero il data warehouse deve rappresentare una versione unica e coerente delle informazioni per l'utente.

Ad esempio, in un data warehouse di profilazione dei clienti nel settore delle telecomunicazioni, non è logico unire l'elenco dei clienti alle 20:00 di mercoledì da un database clienti con gli eventi di abbonamento clienti fino alle 20:00 di martedì. Ciò significherebbe che stiamo trovando i clienti per i quali non ci sono abbonamenti associati.

Caricamento dei dati

Dopo aver estratto i dati, vengono caricati in un archivio dati temporaneo dove vengono puliti e resi coerenti.

Note - I controlli di coerenza vengono eseguiti solo quando tutte le origini dati sono state caricate nell'archivio dati temporaneo.

Processo pulito e di trasformazione

Dopo che i dati sono stati estratti e caricati nell'archivio dati temporaneo, è il momento di eseguire la pulizia e la trasformazione. Ecco l'elenco dei passaggi coinvolti nella pulizia e nella trasformazione:

  • Pulisci e trasforma i dati caricati in una struttura
  • Partizionare i dati
  • Aggregation

Pulisci e trasforma i dati caricati in una struttura

La pulizia e la trasformazione dei dati caricati aiuta ad accelerare le query. Può essere fatto rendendo i dati coerenti:

  • dentro di sé.
  • con altri dati all'interno della stessa origine dati.
  • con i dati in altri sistemi di origine.
  • con i dati esistenti presenti nel magazzino.

La trasformazione implica la conversione dei dati di origine in una struttura. La strutturazione dei dati aumenta le prestazioni delle query e riduce i costi operativi. I dati contenuti in un data warehouse devono essere trasformati per supportare i requisiti di prestazioni e controllare i costi operativi correnti.

Partizionare i dati

Ottimizzerà le prestazioni hardware e semplificherà la gestione del data warehouse. Qui partizioniamo ogni tabella dei fatti in più partizioni separate.

Aggregazione

L'aggregazione è necessaria per velocizzare le query comuni. L'aggregazione si basa sul fatto che le query più comuni analizzeranno un sottoinsieme o un'aggregazione dei dati dettagliati.

Backup e archiviazione dei dati

Per ripristinare i dati in caso di perdita di dati, guasto del software o guasto dell'hardware, è necessario mantenere backup regolari. L'archiviazione comporta la rimozione dei vecchi dati dal sistema in un formato che consente di ripristinarli rapidamente quando necessario.

Ad esempio, in un data warehouse di analisi delle vendite al dettaglio, potrebbe essere necessario conservare i dati per 3 anni con i dati degli ultimi 6 mesi mantenuti online. In tale scenario, spesso è necessario essere in grado di fare confronti mese per mese per quest'anno e l'anno scorso. In questo caso, è necessario ripristinare alcuni dati dall'archivio.

Processo di gestione delle query

Questo processo esegue le seguenti funzioni:

  • gestisce le query.

  • aiuta ad accelerare i tempi di esecuzione dei queris.

  • indirizza le query alle origini dati più efficaci.

  • assicura che tutte le sorgenti del sistema vengano utilizzate nel modo più efficace.

  • monitora i profili di query effettivi.

Le informazioni generate in questo processo vengono utilizzate dal processo di gestione del magazzino per determinare quali aggregazioni generare. Questo processo generalmente non funziona durante il carico regolare di informazioni nel data warehouse.