Data Warehousing - Concetti di metadati

Cosa sono i metadati?

I metadati sono definiti semplicemente come dati sui dati. I dati utilizzati per rappresentare altri dati sono noti come metadati. Ad esempio, l'indice di un libro funge da metadati per i contenuti del libro. In altre parole, possiamo dire che i metadati sono i dati riassunti che ci portano a dati dettagliati. In termini di data warehouse, possiamo definire i metadati come segue.

  • I metadati sono la road map per un data warehouse.

  • I metadati in un data warehouse definiscono gli oggetti warehouse.

  • I metadati fungono da directory. Questa directory aiuta il sistema di supporto decisionale a individuare i contenuti di un data warehouse.

Note- In un data warehouse, creiamo metadati per i nomi dei dati e le definizioni di un dato data warehouse. Insieme a questi metadati, vengono creati anche metadati aggiuntivi per la marcatura temporale dei dati estratti, la fonte dei dati estratti.

Categorie di metadati

I metadati possono essere suddivisi in tre categorie:

  • Business Metadata - Contiene le informazioni sulla proprietà dei dati, la definizione aziendale e le politiche di modifica.

  • Technical Metadata- Include nomi di sistema del database, nomi e dimensioni di tabelle e colonne, tipi di dati e valori consentiti. I metadati tecnici includono anche informazioni strutturali come attributi e indici di chiavi primarie ed esterne.

  • Operational Metadata- Include la valuta dei dati e la derivazione dei dati. Valuta dei dati indica se i dati sono attivi, archiviati o eliminati. Derivazione dei dati significa la storia dei dati migrati e la trasformazione applicata su di essi.

Ruolo dei metadati

I metadati hanno un ruolo molto importante in un data warehouse. Il ruolo dei metadati in un magazzino è diverso dai dati del magazzino, ma gioca un ruolo importante. I vari ruoli dei metadati sono spiegati di seguito.

  • I metadati fungono da directory.

  • Questa directory aiuta il sistema di supporto decisionale a individuare i contenuti del data warehouse.

  • I metadati aiutano nel sistema di supporto decisionale per la mappatura dei dati quando i dati vengono trasformati dall'ambiente operativo all'ambiente del data warehouse.

  • I metadati aiutano a riepilogare tra dati dettagliati correnti e dati altamente riepilogati.

  • I metadati aiutano anche a riepilogare tra dati leggermente dettagliati e dati altamente riepilogati.

  • I metadati vengono utilizzati per gli strumenti di query.

  • I metadati vengono utilizzati negli strumenti di estrazione e pulizia.

  • I metadati vengono utilizzati negli strumenti di reporting.

  • I metadati vengono utilizzati negli strumenti di trasformazione.

  • I metadati giocano un ruolo importante nel caricamento delle funzioni.

Il diagramma seguente mostra i ruoli dei metadati.

Repository di metadati

Il repository di metadati è parte integrante di un sistema di data warehouse. Ha i seguenti metadati:

  • Definition of data warehouse- Include la descrizione della struttura del data warehouse. La descrizione è definita da schema, vista, gerarchie, definizioni di dati derivati ​​e posizioni e contenuti del data mart.

  • Business metadata - Contiene le informazioni sulla proprietà dei dati, la definizione aziendale e le politiche di modifica.

  • Operational Metadata- Include la valuta dei dati e la derivazione dei dati. Valuta dei dati indica se i dati sono attivi, archiviati o eliminati. Derivazione dei dati significa la storia dei dati migrati e la trasformazione applicata su di essi.

  • Data for mapping from operational environment to data warehouse - Include i database di origine e il loro contenuto, l'estrazione dei dati, la pulizia della partizione dei dati, le regole di trasformazione, l'aggiornamento dei dati e le regole di eliminazione.

  • Algorithms for summarization - Include algoritmi dimensionali, dati sulla granularità, aggregazione, riepilogo, ecc.

Sfide per la gestione dei metadati

L'importanza dei metadati non può essere sopravvalutata. I metadati aiutano a migliorare l'accuratezza dei report, convalidano la trasformazione dei dati e garantiscono l'accuratezza dei calcoli. I metadati impongono inoltre la definizione dei termini commerciali agli utenti finali aziendali. Con tutti questi usi dei metadati, ha anche le sue sfide. Alcune delle sfide sono discusse di seguito.

  • I metadati in una grande organizzazione sono sparsi in tutta l'organizzazione. Questi metadati vengono distribuiti in fogli di calcolo, database e applicazioni.

  • I metadati potrebbero essere presenti in file di testo o file multimediali. Per utilizzare questi dati per soluzioni di gestione delle informazioni, è necessario che siano definiti correttamente.

  • Non esistono standard accettati a livello di settore. I fornitori di soluzioni per la gestione dei dati hanno un focus ristretto.

  • Non esistono metodi facili e accettati per il passaggio dei metadati.