Data mining - Analisi cluster

Il cluster è un gruppo di oggetti che appartiene alla stessa classe. In altre parole, oggetti simili vengono raggruppati in un cluster e oggetti dissimili vengono raggruppati in un altro cluster.

Cos'è il clustering?

Il clustering è il processo di trasformazione di un gruppo di oggetti astratti in classi di oggetti simili.

Points to Remember

  • Un cluster di oggetti dati può essere trattato come un gruppo.

  • Durante l'analisi dei cluster, partizioniamo prima l'insieme di dati in gruppi in base alla somiglianza dei dati e quindi assegniamo le etichette ai gruppi.

  • Il vantaggio principale del clustering rispetto alla classificazione è che è adattabile ai cambiamenti e aiuta a individuare le caratteristiche utili che distinguono i diversi gruppi.

Applicazioni dell'analisi dei cluster

  • L'analisi di clustering è ampiamente utilizzata in molte applicazioni come ricerche di mercato, riconoscimento di modelli, analisi dei dati e elaborazione delle immagini.

  • Il clustering può anche aiutare i professionisti del marketing a scoprire gruppi distinti nella loro base di clienti. E possono caratterizzare i loro gruppi di clienti in base ai modelli di acquisto.

  • Nel campo della biologia, può essere utilizzato per derivare tassonomie di piante e animali, classificare geni con funzionalità simili e ottenere informazioni sulle strutture inerenti alle popolazioni.

  • Il raggruppamento aiuta anche nell'identificazione di aree con un uso del suolo simile in un database di osservazione della terra. Aiuta anche nell'identificazione di gruppi di case in una città in base al tipo di casa, al valore e alla posizione geografica.

  • Il clustering aiuta anche a classificare i documenti sul Web per la scoperta delle informazioni.

  • Il clustering viene utilizzato anche nelle applicazioni di rilevamento dei valori anomali come il rilevamento di frodi con carte di credito.

  • Come funzione di data mining, l'analisi dei cluster funge da strumento per ottenere informazioni sulla distribuzione dei dati per osservare le caratteristiche di ciascun cluster.

Requisiti del clustering nel data mining

I seguenti punti fanno luce sul motivo per cui il clustering è necessario nel data mining:

  • Scalability - Abbiamo bisogno di algoritmi di clustering altamente scalabili per gestire database di grandi dimensioni.

  • Ability to deal with different kinds of attributes - Gli algoritmi dovrebbero essere in grado di essere applicati a qualsiasi tipo di dati come dati basati su intervalli (numerici), dati categoriali e binari.

  • Discovery of clusters with attribute shape- L'algoritmo di clustering dovrebbe essere in grado di rilevare cluster di forma arbitraria. Non dovrebbero essere limitati solo a misure di distanza che tendono a trovare ammassi sferici di piccole dimensioni.

  • High dimensionality - L'algoritmo di clustering non dovrebbe solo essere in grado di gestire dati a bassa dimensione ma anche lo spazio ad alta dimensione.

  • Ability to deal with noisy data- I database contengono dati rumorosi, mancanti o errati. Alcuni algoritmi sono sensibili a tali dati e possono portare a cluster di scarsa qualità.

  • Interpretability - I risultati del raggruppamento dovrebbero essere interpretabili, comprensibili e utilizzabili.

Metodi di clustering

I metodi di clustering possono essere classificati nelle seguenti categorie:

  • Metodo di partizionamento
  • Metodo gerarchico
  • Metodo basato sulla densità
  • Metodo basato su griglia
  • Metodo basato su modello
  • Metodo basato su vincoli

Metodo di partizionamento

Supponiamo che ci venga fornito un database di oggetti "n" e il metodo di partizionamento costruisca la partizione "k" dei dati. Ogni partizione rappresenterà un cluster e k ≤ n. Significa che classificherà i dati in k gruppi, che soddisfano i seguenti requisiti:

  • Ogni gruppo contiene almeno un oggetto.

  • Ogni oggetto deve appartenere esattamente a un gruppo.

Points to remember −

  • Per un dato numero di partizioni (diciamo k), il metodo di partizionamento creerà un partizionamento iniziale.

  • Quindi utilizza la tecnica di rilocazione iterativa per migliorare il partizionamento spostando gli oggetti da un gruppo all'altro.

Metodi gerarchici

Questo metodo crea una scomposizione gerarchica del dato insieme di oggetti dati. Possiamo classificare i metodi gerarchici sulla base di come si forma la scomposizione gerarchica. Ci sono due approcci qui:

  • Approccio agglomerativo
  • Approccio divisivo

Approccio agglomerativo

Questo approccio è noto anche come approccio dal basso verso l'alto. In questo, iniziamo con ogni oggetto che forma un gruppo separato. Continua a fondere gli oggetti o i gruppi vicini tra loro. Continua così fino a quando tutti i gruppi non vengono uniti in uno o fino a quando non si verifica la condizione di terminazione.

Approccio divisivo

Questo approccio è noto anche come approccio top-down. In questo, iniziamo con tutti gli oggetti nello stesso cluster. Nell'iterazione continua, un cluster viene suddiviso in cluster più piccoli. Rimane inattivo fino a quando ogni oggetto in un cluster o la condizione di terminazione non vengono mantenuti. Questo metodo è rigido, ovvero, una volta eseguita una fusione o una divisione, non può essere annullata.

Approcci per migliorare la qualità del clustering gerarchico

Ecco i due approcci utilizzati per migliorare la qualità del clustering gerarchico:

  • Eseguire un'attenta analisi dei collegamenti agli oggetti in ogni partizionamento gerarchico.

  • Integrare l'agglomerazione gerarchica utilizzando prima un algoritmo agglomerativo gerarchico per raggruppare gli oggetti in micro-cluster, quindi eseguire il macro-clustering sui micro-cluster.

Metodo basato sulla densità

Questo metodo si basa sulla nozione di densità. L'idea di base è di continuare a far crescere il cluster dato fintanto che la densità nel vicinato supera una certa soglia, cioè, per ogni punto dati all'interno di un dato cluster, il raggio di un dato cluster deve contenere almeno un numero minimo di punti.

Metodo basato su griglia

In questo, gli oggetti insieme formano una griglia. Lo spazio dell'oggetto viene quantizzato in un numero finito di celle che formano una struttura a griglia.

Advantages

  • Il principale vantaggio di questo metodo è il tempo di elaborazione veloce.

  • Dipende solo dal numero di celle in ciascuna dimensione nello spazio quantizzato.

Metodi basati su modelli

In questo metodo, viene ipotizzato un modello per ciascun cluster per trovare la migliore corrispondenza dei dati per un dato modello. Questo metodo individua i cluster raggruppando la funzione di densità. Riflette la distribuzione spaziale dei punti dati.

Questo metodo fornisce anche un modo per determinare automaticamente il numero di cluster sulla base di statistiche standard, tenendo conto dei valori anomali o del rumore. Produce quindi metodi di clustering robusti.

Metodo basato su vincoli

In questo metodo, il clustering viene eseguito incorporando vincoli orientati all'utente o all'applicazione. Un vincolo si riferisce alle aspettative dell'utente o alle proprietà dei risultati di clustering desiderati. I vincoli ci forniscono un modo interattivo di comunicazione con il processo di clustering. I vincoli possono essere specificati dall'utente o dal requisito dell'applicazione.