Data Warehousing - Processo di consegna

Un data warehouse non è mai statico; si evolve con l'espansione dell'attività. Man mano che l'azienda si evolve, i suoi requisiti continuano a cambiare e quindi un data warehouse deve essere progettato per affrontare questi cambiamenti. Quindi un sistema di data warehouse deve essere flessibile.

Idealmente dovrebbe esserci un processo di consegna per fornire un data warehouse. Tuttavia, i progetti di data warehouse normalmente soffrono di vari problemi che rendono difficile completare attività e risultati nel modo rigoroso e ordinato richiesto dal metodo a cascata. La maggior parte delle volte, i requisiti non vengono compresi completamente. Le architetture, i progetti e i componenti di costruzione possono essere completati solo dopo aver raccolto e studiato tutti i requisiti.

metodo di consegna

Il metodo di consegna è una variante dell'approccio di sviluppo applicativo congiunto adottato per la consegna di un data warehouse. Abbiamo organizzato il processo di consegna del data warehouse per ridurre al minimo i rischi. L'approccio di cui parleremo qui non riduce i tempi di consegna complessivi, ma garantisce che i vantaggi aziendali vengano forniti in modo incrementale durante il processo di sviluppo.

Note - Il processo di consegna è suddiviso in fasi per ridurre il progetto e il rischio di consegna.

Il diagramma seguente spiega le fasi del processo di consegna:

Strategia IT

I data warehouse sono investimenti strategici che richiedono un processo aziendale per generare benefici. La strategia IT è necessaria per ottenere e trattenere i finanziamenti per il progetto.

Caso aziendale

L'obiettivo del business case è stimare i vantaggi aziendali che dovrebbero derivare dall'utilizzo di un data warehouse. Questi benefici potrebbero non essere quantificabili, ma i benefici previsti devono essere chiaramente indicati. Se un data warehouse non ha un chiaro business case, l'azienda tende a soffrire di problemi di credibilità a un certo punto durante il processo di consegna. Pertanto, nei progetti di data warehouse, dobbiamo comprendere il business case dell'investimento.

Istruzione e prototipazione

Le organizzazioni sperimentano il concetto di analisi dei dati e si informano sul valore di avere un data warehouse prima di accontentarsi di una soluzione. Questo viene risolto dalla prototipazione. Aiuta a comprendere la fattibilità e i vantaggi di un data warehouse. L'attività di prototipazione su piccola scala può promuovere il processo educativo purché:

  • Il prototipo si rivolge a un obiettivo tecnico definito.

  • Il prototipo può essere gettato via dopo che è stato mostrato il concetto di fattibilità.

  • L'attività si rivolge a un piccolo sottoinsieme dell'eventuale contenuto di dati del data warehouse.

  • La tempistica dell'attività non è critica.

I seguenti punti devono essere tenuti presenti per produrre una versione anticipata e fornire vantaggi aziendali.

  • Identifica l'architettura che è in grado di evolversi.

  • Concentrarsi sui requisiti aziendali e sulle fasi del progetto tecnico.

  • Limita l'ambito della prima fase di compilazione al minimo che offra vantaggi aziendali.

  • Comprendere i requisiti a breve e medio termine del data warehouse.

Requisiti aziendali

Per fornire risultati di qualità, dobbiamo assicurarci che i requisiti generali siano compresi. Se comprendiamo i requisiti aziendali sia a breve che a medio termine, possiamo progettare una soluzione per soddisfare i requisiti a breve termine. La soluzione a breve termine può quindi essere trasformata in una soluzione completa.

In questa fase vengono determinati i seguenti aspetti:

  • La regola aziendale da applicare ai dati.

  • Il modello logico per le informazioni all'interno del data warehouse.

  • I profili di query per il requisito immediato.

  • I sistemi di origine che forniscono questi dati.

Progetto tecnico

Questa fase deve fornire un'architettura globale che soddisfi i requisiti a lungo termine. Questa fase fornisce anche i componenti che devono essere implementati a breve termine per trarre qualsiasi vantaggio aziendale. Il progetto deve identificare i seguenti.

  • L'architettura complessiva del sistema.
  • La politica di conservazione dei dati.
  • La strategia di backup e ripristino.
  • L'architettura del server e del data mart.
  • Il piano di capacità per hardware e infrastruttura.
  • I componenti della progettazione di database.

Creazione della versione

In questa fase, viene prodotto il primo deliverable di produzione. Questo deliverable di produzione è il componente più piccolo di un data warehouse. Questo componente più piccolo aggiunge vantaggi per l'azienda.

Caricamento della cronologia

Questa è la fase in cui il resto della cronologia richiesta viene caricata nel data warehouse. In questa fase, non aggiungiamo nuove entità, ma verrebbero probabilmente create tabelle fisiche aggiuntive per memorizzare maggiori volumi di dati.

Facciamo un esempio. Supponiamo che la fase della versione build abbia fornito un data warehouse per l'analisi delle vendite al dettaglio con 2 mesi di cronologia. Queste informazioni consentiranno all'utente di analizzare solo le tendenze recenti e di affrontare i problemi a breve termine. L'utente in questo caso non può identificare le tendenze annuali e stagionali. Per aiutarlo a farlo, la cronologia delle vendite degli ultimi 2 anni potrebbe essere caricata dall'archivio. Ora i dati da 40 GB vengono estesi a 400 GB.

Note - Le procedure di backup e ripristino possono diventare complesse, pertanto si consiglia di eseguire questa attività in una fase separata.

Query ad hoc

In questa fase, configuriamo uno strumento di query ad hoc che viene utilizzato per gestire un data warehouse. Questi strumenti possono generare la query del database.

Note - Si consiglia di non utilizzare questi strumenti di accesso quando il database viene modificato in modo sostanziale.

Automazione

In questa fase i processi di gestione operativa sono completamente automatizzati. Questi includerebbero:

  • Trasformare i dati in una forma adatta all'analisi.

  • Monitoraggio dei profili di query e determinazione delle aggregazioni appropriate per mantenere le prestazioni del sistema.

  • Estrazione e caricamento dei dati da diversi sistemi di origine.

  • Generazione di aggregazioni da definizioni predefinite all'interno del data warehouse.

  • Backup, ripristino e archiviazione dei dati.

Estensione dell'ambito

In questa fase, il data warehouse viene esteso per soddisfare una nuova serie di requisiti aziendali. L'ambito può essere esteso in due modi:

  • Caricando dati aggiuntivi nel data warehouse.

  • Introducendo nuovi data mart utilizzando le informazioni esistenti.

Note - Questa fase dovrebbe essere eseguita separatamente, poiché comporta notevoli sforzi e complessità.

Requisiti Evoluzione

Dal punto di vista del processo di consegna, i requisiti sono sempre mutevoli. Non sono statici. Il processo di consegna deve supportarlo e consentire che queste modifiche si riflettano nel sistema.

Questo problema viene risolto progettando il data warehouse in base all'uso dei dati all'interno dei processi aziendali, in contrasto con i requisiti dei dati delle query esistenti.

L'architettura è progettata per cambiare e crescere per soddisfare le esigenze aziendali, il processo opera come un processo di sviluppo di pseudo-applicazioni, in cui i nuovi requisiti vengono continuamente inseriti nelle attività di sviluppo e vengono prodotti i risultati parziali. Questi risultati parziali vengono restituiti agli utenti e quindi rielaborati garantendo che il sistema complessivo venga continuamente aggiornato per soddisfare le esigenze aziendali.