AI con Python - Elaborazione del linguaggio naturale

L'elaborazione del linguaggio naturale (NLP) si riferisce al metodo AI per comunicare con sistemi intelligenti utilizzando un linguaggio naturale come l'inglese.

L'elaborazione del linguaggio naturale è necessaria quando si desidera che un sistema intelligente come un robot funzioni secondo le proprie istruzioni, quando si desidera ascoltare la decisione di un sistema esperto clinico basato sul dialogo, ecc.

Il campo della PNL implica che i computer eseguano compiti utili con i linguaggi naturali usati dagli umani. L'input e l'output di un sistema PNL possono essere:

  • Speech
  • Testo scritto

Componenti della PNL

In questa sezione, impareremo i diversi componenti della PNL. Ci sono due componenti della PNL. I componenti sono descritti di seguito:

Comprensione del linguaggio naturale (NLU)

Comprende le seguenti attività:

  • Mappatura dell'input fornito in linguaggio naturale in rappresentazioni utili.

  • Analizzando diversi aspetti della lingua.

Generazione del linguaggio naturale (NLG)

È il processo di produzione di frasi e frasi significative sotto forma di linguaggio naturale da una rappresentazione interna. Si tratta di:

  • Text planning - Ciò include il recupero del contenuto pertinente dalla knowledge base.

  • Sentence planning - Ciò include la scelta delle parole richieste, la formazione di frasi significative, l'impostazione del tono della frase.

  • Text Realization - Questo sta mappando il piano della frase nella struttura della frase.

Difficoltà in NLU

La NLU è molto ricca di forma e struttura; tuttavia, è ambiguo. Possono esserci diversi livelli di ambiguità:

Ambiguità lessicale

È a un livello molto primitivo come il livello di parola. Ad esempio, considerare la parola "tavola" come un nome o un verbo?

Ambiguità a livello di sintassi

Una frase può essere analizzata in diversi modi. Ad esempio, "Ha sollevato lo scarafaggio con il berretto rosso". - Ha usato il berretto per sollevare lo scarafaggio o ha sollevato uno scarafaggio con il berretto rosso?

Ambiguità referenziale

Riferirsi a qualcosa usando i pronomi. Ad esempio, Rima è andata a Gauri. Ha detto: "Sono stanca". - Esattamente chi è stanco?

Terminologia della PNL

Vediamo ora alcuni termini importanti nella terminologia della PNL.

  • Phonology - È lo studio dell'organizzazione sistematica del suono.

  • Morphology - È uno studio della costruzione di parole da unità significative primitive.

  • Morpheme - È un'unità primitiva di significato in una lingua.

  • Syntax- Si riferisce alla disposizione delle parole per formare una frase. Coinvolge anche la determinazione del ruolo strutturale delle parole nella frase e nelle frasi.

  • Semantics - Si occupa del significato delle parole e di come combinare le parole in frasi e frasi significative.

  • Pragmatics - Si occupa dell'utilizzo e della comprensione delle frasi in diverse situazioni e di come viene influenzata l'interpretazione della frase.

  • Discourse - Si occupa di come la frase immediatamente precedente può influenzare l'interpretazione della frase successiva.

  • World Knowledge - Include la conoscenza generale del mondo.

Passi nella PNL

Questa sezione mostra i diversi passaggi della PNL.

Analisi lessicale

Implica l'identificazione e l'analisi della struttura delle parole. Lessico di una lingua significa la raccolta di parole e frasi in una lingua. L'analisi lessicale sta dividendo l'intera porzione di testo in paragrafi, frasi e parole.

Analisi sintattica (Parsing)

Comprende l'analisi delle parole nella frase per la grammatica e la disposizione delle parole in un modo che mostri la relazione tra le parole. La frase come "La scuola va al ragazzo" viene rifiutata dall'analizzatore sintattico inglese.

Analisi semantica

Trae il significato esatto o il significato del dizionario dal testo. Viene controllata la significatività del testo. Viene eseguito mappando strutture sintattiche e oggetti nel dominio delle attività. L'analizzatore semantico ignora frasi come "gelato caldo".

Integrazione del discorso

Il significato di ogni frase dipende dal significato della frase appena prima di essa. Inoltre, determina anche il significato della frase immediatamente successiva.

Analisi pragmatica

Durante questo, ciò che è stato detto viene reinterpretato su ciò che effettivamente significava. Si tratta di derivare quegli aspetti del linguaggio che richiedono la conoscenza del mondo reale.