Data Warehousing - Concetti di metadati
Cosa sono i metadati?
I metadati sono definiti semplicemente come dati sui dati. I dati utilizzati per rappresentare altri dati sono noti come metadati. Ad esempio, l'indice di un libro funge da metadati per i contenuti del libro. In altre parole, possiamo dire che i metadati sono i dati riassunti che ci portano a dati dettagliati. In termini di data warehouse, possiamo definire i metadati come segue.
I metadati sono la road map per un data warehouse.
I metadati in un data warehouse definiscono gli oggetti warehouse.
I metadati fungono da directory. Questa directory aiuta il sistema di supporto decisionale a individuare i contenuti di un data warehouse.
Note- In un data warehouse, creiamo metadati per i nomi dei dati e le definizioni di un dato data warehouse. Insieme a questi metadati, vengono creati anche metadati aggiuntivi per la marcatura temporale dei dati estratti, la fonte dei dati estratti.
Categorie di metadati
I metadati possono essere suddivisi in tre categorie:
Business Metadata - Contiene le informazioni sulla proprietà dei dati, la definizione aziendale e le politiche di modifica.
Technical Metadata- Include nomi di sistema del database, nomi e dimensioni di tabelle e colonne, tipi di dati e valori consentiti. I metadati tecnici includono anche informazioni strutturali come attributi e indici di chiavi primarie ed esterne.
Operational Metadata- Include la valuta dei dati e la derivazione dei dati. Valuta dei dati indica se i dati sono attivi, archiviati o eliminati. Derivazione dei dati significa la storia dei dati migrati e la trasformazione applicata su di essi.
Ruolo dei metadati
I metadati hanno un ruolo molto importante in un data warehouse. Il ruolo dei metadati in un magazzino è diverso dai dati del magazzino, ma gioca un ruolo importante. I vari ruoli dei metadati sono spiegati di seguito.
I metadati fungono da directory.
Questa directory aiuta il sistema di supporto decisionale a individuare i contenuti del data warehouse.
I metadati aiutano nel sistema di supporto decisionale per la mappatura dei dati quando i dati vengono trasformati dall'ambiente operativo all'ambiente del data warehouse.
I metadati aiutano a riepilogare tra dati dettagliati correnti e dati altamente riepilogati.
I metadati aiutano anche a riepilogare tra dati leggermente dettagliati e dati altamente riepilogati.
I metadati vengono utilizzati per gli strumenti di query.
I metadati vengono utilizzati negli strumenti di estrazione e pulizia.
I metadati vengono utilizzati negli strumenti di reporting.
I metadati vengono utilizzati negli strumenti di trasformazione.
I metadati giocano un ruolo importante nel caricamento delle funzioni.
Il diagramma seguente mostra i ruoli dei metadati.
Repository di metadati
Il repository di metadati è parte integrante di un sistema di data warehouse. Ha i seguenti metadati:
Definition of data warehouse- Include la descrizione della struttura del data warehouse. La descrizione è definita da schema, vista, gerarchie, definizioni di dati derivati e posizioni e contenuti del data mart.
Business metadata - Contiene le informazioni sulla proprietà dei dati, la definizione aziendale e le politiche di modifica.
Operational Metadata- Include la valuta dei dati e la derivazione dei dati. Valuta dei dati indica se i dati sono attivi, archiviati o eliminati. Derivazione dei dati significa la storia dei dati migrati e la trasformazione applicata su di essi.
Data for mapping from operational environment to data warehouse - Include i database di origine e il loro contenuto, l'estrazione dei dati, la pulizia della partizione dei dati, le regole di trasformazione, l'aggiornamento dei dati e le regole di eliminazione.
Algorithms for summarization - Include algoritmi dimensionali, dati sulla granularità, aggregazione, riepilogo, ecc.
Sfide per la gestione dei metadati
L'importanza dei metadati non può essere sopravvalutata. I metadati aiutano a migliorare l'accuratezza dei report, convalidano la trasformazione dei dati e garantiscono l'accuratezza dei calcoli. I metadati impongono inoltre la definizione dei termini commerciali agli utenti finali aziendali. Con tutti questi usi dei metadati, ha anche le sue sfide. Alcune delle sfide sono discusse di seguito.
I metadati in una grande organizzazione sono sparsi in tutta l'organizzazione. Questi metadati vengono distribuiti in fogli di calcolo, database e applicazioni.
I metadati potrebbero essere presenti in file di testo o file multimediali. Per utilizzare questi dati per soluzioni di gestione delle informazioni, è necessario che siano definiti correttamente.
Non esistono standard accettati a livello di settore. I fornitori di soluzioni per la gestione dei dati hanno un focus ristretto.
Non esistono metodi facili e accettati per il passaggio dei metadati.