Data mining - Problemi

Il data mining non è un compito facile, poiché gli algoritmi utilizzati possono diventare molto complessi ei dati non sono sempre disponibili in un unico posto. Deve essere integrato da varie fonti di dati eterogenee. Questi fattori creano anche alcuni problemi. Qui in questo tutorial, discuteremo le principali questioni riguardanti:

  • Metodologia di mining e interazione con l'utente
  • Problemi di prestazione
  • Problemi di diversi tipi di dati

Il diagramma seguente descrive i problemi principali.

Metodologia di mining e problemi di interazione con l'utente

Si riferisce ai seguenti tipi di problemi:

  • Mining different kinds of knowledge in databases- Diversi utenti possono essere interessati a diversi tipi di conoscenza. Pertanto è necessario che il data mining copra un'ampia gamma di attività di knowledge discovery.

  • Interactive mining of knowledge at multiple levels of abstraction - Il processo di data mining deve essere interattivo perché consente agli utenti di concentrare la ricerca di modelli, fornendo e perfezionando le richieste di data mining in base ai risultati restituiti.

  • Incorporation of background knowledge- Per guidare il processo di scoperta e per esprimere i modelli scoperti, è possibile utilizzare la conoscenza di base. La conoscenza di base può essere utilizzata per esprimere i modelli scoperti non solo in termini concisi ma a più livelli di astrazione.

  • Data mining query languages and ad hoc data mining - Il linguaggio di query del data mining che consente all'utente di descrivere attività di mining ad hoc, dovrebbe essere integrato con un linguaggio di query del data warehouse e ottimizzato per un data mining efficiente e flessibile.

  • Presentation and visualization of data mining results- Una volta scoperti i modelli, è necessario esprimerli in linguaggi di alto livello e rappresentazioni visive. Queste rappresentazioni dovrebbero essere facilmente comprensibili.

  • Handling noisy or incomplete data- I metodi di pulizia dei dati sono necessari per gestire il rumore e gli oggetti incompleti durante l'estrazione delle regolarità dei dati. Se i metodi di pulizia dei dati non sono disponibili, la precisione dei modelli rilevati sarà scarsa.

  • Pattern evaluation - I modelli scoperti dovrebbero essere interessanti perché rappresentano una conoscenza comune o mancano di novità.

Problemi di prestazione

Possono esserci problemi relativi alle prestazioni come segue:

  • Efficiency and scalability of data mining algorithms - Per estrarre efficacemente le informazioni da enormi quantità di dati nei database, l'algoritmo di data mining deve essere efficiente e scalabile.

  • Parallel, distributed, and incremental mining algorithms- Fattori come le enormi dimensioni dei database, l'ampia distribuzione dei dati e la complessità dei metodi di data mining motivano lo sviluppo di algoritmi di data mining paralleli e distribuiti. Questi algoritmi dividono i dati in partizioni che vengono ulteriormente elaborate in modo parallelo. Quindi i risultati delle partizioni vengono uniti. Gli algoritmi incrementali aggiornano i database senza estrarre nuovamente i dati da zero.

Problemi di diversi tipi di dati

  • Handling of relational and complex types of data - Il database può contenere oggetti di dati complessi, oggetti di dati multimediali, dati spaziali, dati temporali ecc. Non è possibile per un sistema estrarre tutti questi tipi di dati.

  • Mining information from heterogeneous databases and global information systems- I dati sono disponibili in diverse origini dati su LAN o WAN. Queste origini dati possono essere strutturate, semi strutturate o non strutturate. Pertanto estrarre la conoscenza da loro aggiunge sfide al data mining.