AI - Elaborazione del linguaggio naturale

Il Natural Language Processing (NLP) si riferisce al metodo AI per comunicare con un sistema intelligente che utilizza un linguaggio naturale come l'inglese.

L'elaborazione del linguaggio naturale è necessaria quando si desidera che un sistema intelligente come un robot funzioni secondo le proprie istruzioni, quando si desidera ascoltare la decisione di un sistema esperto clinico basato sul dialogo, ecc.

Il campo della PNL implica la creazione di computer per eseguire compiti utili con i linguaggi naturali utilizzati dagli esseri umani. L'input e l'output di un sistema PNL possono essere:

Speech
Testo scritto

Componenti della PNL

Ci sono due componenti della PNL come dato:

Comprensione del linguaggio naturale (NLU)

La comprensione implica le seguenti attività:

Mappatura dell'input fornito in linguaggio naturale in rappresentazioni utili.
Analizzando diversi aspetti della lingua.

Generazione del linguaggio naturale (NLG)

È il processo di produzione di frasi e frasi significative sotto forma di linguaggio naturale da una rappresentazione interna.

Si tratta di:

Text planning - Include il recupero del contenuto pertinente dalla knowledge base.
Sentence planning - Include la scelta delle parole richieste, la formazione di frasi significative, l'impostazione del tono della frase.
Text Realization - Sta mappando il piano della frase nella struttura della frase.

L'NLU è più difficile dell'NLG.

Difficoltà in NLU

NL ha una forma e una struttura estremamente ricche.

È molto ambiguo. Possono esserci diversi livelli di ambiguità:

Lexical ambiguity - È a un livello molto primitivo come il livello di parola.
Ad esempio, considerare la parola "tavola" come un nome o un verbo?
Syntax Level ambiguity - Una frase può essere analizzata in diversi modi.
Ad esempio, "Ha sollevato lo scarafaggio con il berretto rosso". - Ha usato il berretto per sollevare lo scarafaggio o ha sollevato uno scarafaggio con il berretto rosso?
Referential ambiguity- Riferirsi a qualcosa usando i pronomi. Ad esempio, Rima è andata a Gauri. Ha detto: "Sono stanca". - Esattamente chi è stanco?
Un input può significare significati diversi.
Molti input possono significare la stessa cosa.

Terminologia della PNL

Phonology - È lo studio dell'organizzazione sistematica del suono.
Morphology - È uno studio della costruzione di parole da unità significative primitive.
Morpheme - È l'unità primitiva di significato in una lingua.
Syntax- Si riferisce alla disposizione delle parole per formare una frase. Coinvolge anche la determinazione del ruolo strutturale delle parole nella frase e nelle frasi.
Semantics - Si occupa del significato delle parole e di come combinare le parole in frasi e frasi significative.
Pragmatics - Si occupa dell'utilizzo e della comprensione delle frasi in diverse situazioni e di come viene influenzata l'interpretazione della frase.
Discourse - Si occupa di come la frase immediatamente precedente può influenzare l'interpretazione della frase successiva.
World Knowledge - Include la conoscenza generale del mondo.

Passi nella PNL

Ci sono cinque passaggi generali:

Lexical Analysis- Implica l'identificazione e l'analisi della struttura delle parole. Lessico di una lingua significa la raccolta di parole e frasi in una lingua. L'analisi lessicale sta dividendo l'intera porzione di testo in paragrafi, frasi e parole.
Syntactic Analysis (Parsing)- Implica l'analisi delle parole nella frase per la grammatica e la disposizione delle parole in un modo che mostri la relazione tra le parole. La frase come "La scuola va al ragazzo" viene rifiutata dall'analizzatore sintattico inglese.

Semantic Analysis- Trae il significato esatto o il significato del dizionario dal testo. Viene controllata la significatività del testo. Viene eseguito mappando strutture sintattiche e oggetti nel dominio delle attività. L'analizzatore semantico ignora frasi come "gelato caldo".
Discourse Integration- Il significato di ogni frase dipende dal significato della frase appena prima di essa. Inoltre, determina anche il significato della frase immediatamente successiva.
Pragmatic Analysis- Durante questo, ciò che è stato detto viene reinterpretato su ciò che effettivamente significava. Si tratta di derivare quegli aspetti del linguaggio che richiedono la conoscenza del mondo reale.

Aspetti di implementazione dell'analisi sintattica

Esistono numerosi algoritmi che i ricercatori hanno sviluppato per l'analisi sintattica, ma consideriamo solo i seguenti metodi semplici:

Grammatica senza contesto
Parser dall'alto verso il basso

Vediamoli in dettaglio -

Grammatica senza contesto

È la grammatica che consiste di regole con un unico simbolo sul lato sinistro delle regole di riscrittura. Creiamo una grammatica per analizzare una frase -

"L'uccello becca i chicchi"

Articles (DET)- a | un | il

Nouns- uccello | uccelli | grano | grani

Noun Phrase (NP)- Articolo + Sostantivo | Articolo + Aggettivo + Sostantivo

= DET N | DET ADJ N

Verbs- becca | beccare | beccato

Verb Phrase (VP)- NP V | V NP

Adjectives (ADJ)- bellissimo | piccolo | cinguettio

L'albero di analisi suddivide la frase in parti strutturate in modo che il computer possa comprenderla ed elaborarla facilmente. Affinché l'algoritmo di analisi possa costruire questo albero di analisi, è necessario costruire un insieme di regole di riscrittura, che descrivono quali strutture ad albero sono legali.

Queste regole dicono che un certo simbolo può essere espanso nell'albero da una sequenza di altri simboli. Secondo la regola logica del primo ordine, se ci sono due stringhe Frase sostantiva (NP) e Frase verbale (VP), la stringa combinata da NP seguita da VP è una frase. Le regole di riscrittura per la frase sono le seguenti:

S → NP VP

NP → DET N | DET ADJ N

VP → V NP

Lexocon −

DET → a | il

AGG → bello | appollaiarsi

N → uccello | uccelli | grano | grani

V → becco | becca | beccare

L'albero di analisi può essere creato come mostrato -

Ora considera le regole di riscrittura di cui sopra. Poiché V può essere sostituito da entrambi, "beccare" o "beccare", frasi come "L'uccello becca i chicchi" possono essere ammesse erroneamente. cioè l'errore di accordo soggetto-verbo è approvato come corretto.

Merit - Lo stile grammaticale più semplice, quindi ampiamente utilizzato.

Demerits −

Non sono molto precisi. Ad esempio, "I chicchi beccano l'uccello", è sintatticamente corretto secondo il parser, ma anche se non ha senso, il parser lo prende come una frase corretta.
Per ottenere un'elevata precisione, è necessario preparare più set di grammatica. Potrebbe richiedere un insieme di regole completamente diverso per analizzare variazioni singolari e plurali, frasi passive, ecc., Che possono portare alla creazione di un enorme insieme di regole che sono ingestibili.

Parser dall'alto verso il basso

Qui, il parser inizia con il simbolo S e tenta di riscriverlo in una sequenza di simboli di terminale che corrisponde alle classi delle parole nella frase di input fino a quando non è costituito interamente da simboli di terminale.

Questi vengono quindi controllati con la frase di input per vedere se corrisponde. In caso contrario, il processo viene riavviato con un diverso insieme di regole. Questo viene ripetuto finché non viene trovata una regola specifica che descrive la struttura della frase.

Merit - È semplice da implementare.