Elaborazione del discorso in linguaggio naturale
Il problema più difficile dell'IA è elaborare il linguaggio naturale dai computer o in altre parole l'elaborazione del linguaggio naturale è il problema più difficile dell'intelligenza artificiale. Se parliamo dei principali problemi della PNL, allora uno dei maggiori problemi della PNL è l'elaborazione del discorso: costruire teorie e modelli di come le espressioni si uniscono per formarecoherent discourse. In realtà, il linguaggio è sempre costituito da gruppi di frasi collocate, strutturate e coerenti piuttosto che da frasi isolate e non correlate come i film. Questi gruppi coerenti di frasi sono indicati come discorso.
Concetto di coerenza
La coerenza e la struttura del discorso sono interconnesse in molti modi. La coerenza, insieme alla proprietà di un buon testo, viene utilizzata per valutare la qualità dell'output del sistema di generazione del linguaggio naturale. La domanda che sorge qui è cosa significa per un testo essere coerente? Supponiamo di aver raccolto una frase da ogni pagina del giornale, allora sarà un discorso? Ovviamente no. È perché queste frasi non mostrano coerenza. Il discorso coerente deve possedere le seguenti proprietà:
Relazione di coerenza tra enunciati
Il discorso sarebbe coerente se avesse connessioni significative tra le sue espressioni. Questa proprietà è chiamata relazione di coerenza. Ad esempio, deve esserci una sorta di spiegazione per giustificare la connessione tra le espressioni.
Relazione tra entità
Un'altra proprietà che rende coerente un discorso è che deve esserci un certo tipo di relazione con le entità. Questo tipo di coerenza è chiamato coerenza basata sull'entità.
Struttura del discorso
Una domanda importante riguardo al discorso è che tipo di struttura deve avere il discorso. La risposta a questa domanda dipende dalla segmentazione che abbiamo applicato al discorso. Le segmentazioni del discorso possono essere definite come determinanti i tipi di strutture per un discorso ampio. È abbastanza difficile implementare la segmentazione del discorso, ma è molto importante perinformation retrieval, text summarization and information extraction tipo di applicazioni.
Algoritmi per la segmentazione del discorso
In questa sezione, impareremo gli algoritmi per la segmentazione del discorso. Gli algoritmi sono descritti di seguito:
Segmentazione del discorso senza supervisione
La classe della segmentazione del discorso senza supervisione è spesso rappresentata come segmentazione lineare. Possiamo comprendere il compito della segmentazione lineare con l'aiuto di un esempio. Nell'esempio, c'è il compito di segmentare il testo in unità di più paragrafi; le unità rappresentano il passaggio del testo originale. Questi algoritmi dipendono dalla coesione che può essere definita come l'uso di determinati dispositivi linguistici per legare insieme le unità testuali. D'altra parte, la coesione del lessico è la coesione che è indicata dalla relazione tra due o più parole in due unità come l'uso dei sinonimi.
Segmentazione del discorso supervisionata
Il metodo precedente non ha confini di segmento etichettati manualmente. D'altra parte, la segmentazione del discorso supervisionato deve avere dati di addestramento etichettati come confini. È molto facile acquisire lo stesso. Nella segmentazione del discorso supervisionato, i marker del discorso o le parole chiave giocano un ruolo importante. L'indicatore del discorso o la parola chiave è una parola o una frase che funziona per segnalare la struttura del discorso. Questi indicatori di discorso sono specifici del dominio.
Coerenza del testo
La ripetizione lessicale è un modo per trovare la struttura in un discorso, ma non soddisfa il requisito di essere discorso coerente. Per ottenere il discorso coerente, dobbiamo concentrarci sulle relazioni di coerenza nello specifico. Come sappiamo, la relazione di coerenza definisce la possibile connessione tra le espressioni in un discorso. Hebb ha proposto questo tipo di relazioni come segue:
Stiamo prendendo due termini S0 e S1 per rappresentare il significato delle due frasi correlate -
Risultato
Ne deduce che lo stato ha affermato per termine S0 potrebbe causare lo stato affermato da S1. Ad esempio, due dichiarazioni mostrano il risultato della relazione: Ram è stato preso nel fuoco. La sua pelle bruciava.
Spiegazione
Ne deduce che lo stato ha affermato da S1 potrebbe causare lo stato affermato da S0. Ad esempio, due dichiarazioni mostrano la relazione: Ram ha combattuto con l'amico di Shyam. Era ubriaco.
Parallelo
Deduce p (a1, a2,…) dall'asserzione di S0 e p (b1, b2,…) dall'asserzione S1. Qui ai e bi sono simili per tutti i. Ad esempio, due affermazioni sono parallele: Ram ha voluto un'auto. Shyam voleva soldi.
Elaborazione
Deduce la stessa proposizione P da entrambe le asserzioni: S0 e S1Ad esempio, due affermazioni mostrano l'elaborazione della relazione: Ram era di Chandigarh. Shyam era del Kerala.
Occasione
Succede quando un cambiamento di stato può essere dedotto dall'affermazione di S0, da cui si può desumere lo stato finale S1e viceversa. Ad esempio, le due affermazioni mostrano l'occasione della relazione: Ram prese il libro. Lo diede a Shyam.
Costruzione della struttura gerarchica del discorso
La coerenza dell'intero discorso può essere considerata anche dalla struttura gerarchica tra relazioni di coerenza. Ad esempio, il seguente passaggio può essere rappresentato come struttura gerarchica:
S1 - Ram è andato in banca per depositare denaro.
S2 - Ha poi preso un treno per il negozio di vestiti di Shyam.
S3 - Voleva comprare dei vestiti.
S4 - Non ha vestiti nuovi per la festa.
S5 - Voleva anche parlare con Shyam della sua salute
Risoluzione di riferimento
L'interpretazione delle frasi di qualsiasi discorso è un altro compito importante e per raggiungere questo obiettivo abbiamo bisogno di sapere di chi o di quale entità si sta parlando. Qui, il riferimento all'interpretazione è l'elemento chiave.Referencepuò essere definita come l'espressione linguistica per denotare un'entità o un individuo. Ad esempio, nel passaggio, Ram , il manager della banca ABC , ha visto il suo amico Shyam in un negozio. Gli è andato incontro, le espressioni linguistiche come Ram, His, He sono di riferimento.
Sulla stessa nota, reference resolution può essere definito come il compito di determinare a quali entità si fa riferimento con quale espressione linguistica.
Terminologia utilizzata nella risoluzione dei riferimenti
Usiamo le seguenti terminologie nella risoluzione di riferimento:
Referring expression- L'espressione in linguaggio naturale utilizzata per eseguire il riferimento è chiamata espressione di riferimento. Ad esempio, il passaggio usato sopra è un'espressione di riferimento.
Referent- È l'entità a cui si fa riferimento. Ad esempio, nell'ultimo esempio dato Ram è un referente.
Corefer- Quando due espressioni vengono utilizzate per fare riferimento alla stessa entità, vengono chiamate corefer. Per esempio,Ram e he sono corefers.
Antecedent- Il termine ha la licenza per utilizzare un altro termine. Per esempio,Ram è l'antecedente del riferimento he.
Anaphora & Anaphoric- Può essere definito come il riferimento a un'entità che è stata precedentemente introdotta nella frase. E l'espressione di riferimento è chiamata anaforica.
Discourse model - Il modello che contiene le rappresentazioni delle entità a cui si è fatto riferimento nel discorso e la relazione in cui sono impegnate.
Tipi di espressioni di riferimento
Vediamo ora i diversi tipi di espressioni di riferimento. I cinque tipi di espressioni di riferimento sono descritti di seguito:
Frasi di nomi indefiniti
Questo tipo di riferimento rappresenta le entità che sono nuove per l'ascoltatore nel contesto del discorso. Ad esempio - nella frase Ram era andato in giro un giorno per portargli del cibo - alcuni sono un riferimento indefinito.
Frasi di nomi definiti
Contrariamente a quanto sopra, questo tipo di riferimento rappresenta le entità che non sono nuove o identificabili per l'ascoltatore nel contesto del discorso. Ad esempio, nella frase - leggevo The Times of India - The Times of India è un riferimento preciso.
Pronomi
È una forma di riferimento definitivo. Ad esempio, Ram rise più forte che poteva. La parolahe rappresenta l'espressione di riferimento del pronome.
Dimostrativi
Questi dimostrano e si comportano diversamente dai pronomi definiti semplici. Ad esempio, questo e quello sono pronomi dimostrativi.
Nomi
È il tipo più semplice di espressione di riferimento. Può anche essere il nome di una persona, organizzazione e posizione. Ad esempio, negli esempi precedenti, Ram è l'espressione arbitrale del nome.
Attività di risoluzione di riferimento
Le due attività di risoluzione di riferimento sono descritte di seguito.
Risoluzione di coreferenza
È il compito di trovare espressioni di riferimento in un testo che si riferiscono alla stessa entità. In parole semplici, è il compito di trovare espressioni corefer. Un insieme di espressioni di coreferenza è chiamato catena di coreferenza. Ad esempio - He, Chief Manager e His - queste sono espressioni di riferimento nel primo passaggio dato come esempio.
Vincolo alla risoluzione della coreferenza
In inglese, il problema principale per la risoluzione della coreferenza è il pronome it. La ragione di questo è che il pronome ha molti usi. Ad esempio, può riferirsi in modo molto simile a lui e lei. Il pronome si riferisce anche a cose che non si riferiscono a cose specifiche. Ad esempio, sta piovendo. È veramente buono.
Risoluzione anafora pronominale
A differenza della risoluzione della coreferenza, la risoluzione dell'anafora pronominale può essere definita come il compito di trovare l'antecedente per un singolo pronome. Ad esempio, il pronome è suo e il compito della risoluzione dell'anafora pronominale è trovare la parola Ram perché Ram è l'antecedente.