PNL - Disambiguazione del senso delle parole
Comprendiamo che le parole hanno significati diversi in base al contesto del loro utilizzo nella frase. Se parliamo di lingue umane, anche queste sono ambigue perché molte parole possono essere interpretate in più modi a seconda del contesto in cui si verificano.
La disambiguazione del senso delle parole, nell'elaborazione del linguaggio naturale (PNL), può essere definita come la capacità di determinare quale significato della parola viene attivato dall'uso della parola in un particolare contesto. L'ambiguità lessicale, sintattica o semantica, è uno dei primissimi problemi che deve affrontare qualsiasi sistema di PNL. I tagger di parti del discorso (POS) con un alto livello di precisione possono risolvere l'ambiguità sintattica di Word. D'altra parte, il problema della risoluzione dell'ambiguità semantica è chiamato WSD (disambiguazione del senso della parola). Risolvere l'ambiguità semantica è più difficile che risolvere l'ambiguità sintattica.
Ad esempio, considera i due esempi del senso distinto che esistono per la parola “bass” -
Riesco a sentire il suono dei bassi.
Gli piace mangiare la spigola alla griglia.
L'occorrenza della parola bassdenota chiaramente il significato distinto. Nella prima frase, significafrequency e in secondo luogo, significa fish. Quindi, se fosse disambiguato da WSD, il significato corretto delle frasi precedenti può essere assegnato come segue:
Riesco a sentire il suono dei bassi / delle frequenze.
Gli piace mangiare pesce e spigola alla griglia.
Valutazione di WSD
La valutazione di WSD richiede i seguenti due input:
Un dizionario
Il primo vero input per la valutazione di WSD è il dizionario, che viene utilizzato per specificare i sensi da disambiguare.
Test di Corpus
Un altro input richiesto da WSD è il corpus di test con annotazioni elevate che ha l'obiettivo o i sensi corretti. I corpora di test possono essere di due tipi & minsu;
Lexical sample - Questo tipo di corpora viene utilizzato nel sistema, dove è necessario disambiguare un piccolo campione di parole.
All-words - Questo tipo di corpora viene utilizzato nel sistema, dove ci si aspetta che disambigui tutte le parole in una parte di testo in esecuzione.
Approcci e metodi per Word Sense Disambiguation (WSD)
Gli approcci e i metodi al WSD sono classificati in base alla fonte di conoscenza utilizzata nella disambiguazione delle parole.
Vediamo ora i quattro metodi convenzionali per WSD:
Metodi basati su dizionario o basati sulla conoscenza
Come suggerisce il nome, per disambiguare questi metodi si basano principalmente su dizionari, tesori e base di conoscenza lessicale. Non usano le evidenze dei corpora per disambiguare. Il metodo Lesk è il metodo seminale basato sul dizionario introdotto da Michael Lesk nel 1986. La definizione di Lesk, su cui si basa l'algoritmo di Lesk è“measure overlap between sense definitions for all words in context”. Tuttavia, nel 2000, Kilgarriff e Rosensweig hanno dato la definizione semplificata di Lesk come“measure overlap between sense definitions of word and current context”, che significa inoltre identificare il senso corretto per una parola alla volta. Qui il contesto corrente è l'insieme di parole nella frase o nel paragrafo circostante.
Metodi supervisionati
Per disambiguare, i metodi di apprendimento automatico utilizzano corpora annotati con senso per l'addestramento. Questi metodi presumono che il contesto possa fornire prove sufficienti da solo per disambiguare il senso. In questi metodi, le parole conoscenza e ragionamento sono ritenute non necessarie. Il contesto è rappresentato come un insieme di "caratteristiche" delle parole. Include anche le informazioni sulle parole circostanti. Supportare la macchina vettoriale e l'apprendimento basato sulla memoria sono gli approcci di apprendimento supervisionato di maggior successo a WSD. Questi metodi si basano su una notevole quantità di corpora contrassegnati manualmente dai sensi, che è molto costoso da creare.
Metodi semi-supervisionati
A causa della mancanza di corpus formativi, la maggior parte degli algoritmi di disambiguazione del senso delle parole utilizza metodi di apprendimento semi-supervisionati. È perché i metodi semi-supervisionati utilizzano dati sia etichettati che non etichettati. Questi metodi richiedono una quantità molto piccola di testo annotato e una grande quantità di testo semplice non annotato. La tecnica utilizzata dai metodi semisupervised è il bootstrap dai dati seed.
Metodi non supervisionati
Questi metodi presumono che sensi simili si verifichino in un contesto simile. Questo è il motivo per cui i sensi possono essere indotti dal testo raggruppando le occorrenze di parole utilizzando una certa misura di somiglianza del contesto. Questo compito è chiamato induzione o discriminazione del senso delle parole. I metodi non supervisionati hanno un grande potenziale per superare il collo di bottiglia dell'acquisizione di conoscenze a causa della non dipendenza dagli sforzi manuali.
Applicazioni di Word Sense Disambiguation (WSD)
La disambiguazione del senso delle parole (WSD) viene applicata in quasi tutte le applicazioni della tecnologia del linguaggio.
Vediamo ora lo scopo di WSD -
Traduzione automatica
La traduzione automatica o MT è l'applicazione più ovvia di WSD. In MT, la scelta lessicale per le parole che hanno traduzioni distinte per sensi diversi, viene eseguita da WSD. I sensi in MT sono rappresentati come parole nella lingua di destinazione. La maggior parte dei sistemi di traduzione automatica non utilizza il modulo WSD esplicito.
Recupero delle informazioni (IR)
Il recupero delle informazioni (IR) può essere definito come un programma software che si occupa dell'organizzazione, dell'archiviazione, del recupero e della valutazione delle informazioni dagli archivi di documenti, in particolare delle informazioni testuali. Il sistema sostanzialmente aiuta gli utenti a trovare le informazioni di cui hanno bisogno, ma non restituisce esplicitamente le risposte alle domande. WSD viene utilizzato per risolvere le ambiguità delle query fornite al sistema IR. Come come MT, gli attuali sistemi IR non utilizzano esplicitamente il modulo WSD e si basano sul concetto che l'utente digiti un contesto sufficiente nella query per recuperare solo i documenti pertinenti.
Text Mining and Information Extraction (IE)
Nella maggior parte delle applicazioni, WSD è necessario per eseguire un'analisi accurata del testo. Ad esempio, WSD aiuta il sistema di raccolta intelligente a contrassegnare le parole corrette. Ad esempio, il sistema medico intelligente potrebbe richiedere la segnalazione di "droghe illegali" anziché di "droghe mediche"
Lessicografia
WSD e lessicografia possono lavorare insieme in loop perché la lessicografia moderna è basata su corpus. Con la lessicografia, WSD fornisce raggruppamenti di senso empirici approssimativi nonché indicatori contestuali di senso statisticamente significativi.
Difficoltà nel Word Sense Disambiguation (WSD)
Di seguito sono riportate alcune difficoltà affrontate dalla disambiguazione del senso delle parole (WSD) -
Differenze tra dizionari
Il problema principale di WSD è decidere il senso della parola perché sensi diversi possono essere strettamente correlati. Anche dizionari e thesauri diversi possono fornire diverse divisioni di parole in sensi.
Diversi algoritmi per diverse applicazioni
Un altro problema di WSD è che potrebbe essere necessario un algoritmo completamente diverso per applicazioni diverse. Ad esempio, nella traduzione automatica, assume la forma della selezione della parola target; e nel recupero delle informazioni non è richiesto un inventario dei sensi.
Varianza tra giudici
Un altro problema di WSD è che i sistemi WSD sono generalmente testati confrontando i loro risultati su un compito con il compito di esseri umani. Questo è chiamato il problema della varianza tra i giudici.
Discretezza del senso delle parole
Un'altra difficoltà in WSD è che le parole non possono essere facilmente suddivise in sottomissioni discrete.