Python - Testo Munging

Munging in generale significa ripulire tutto ciò che è disordinato trasformandolo. Nel nostro caso vedremo come trasformare il testo per ottenere un risultato che ci dia alcune modifiche desiderabili ai dati. A un livello semplice si tratta solo di trasformare il testo di cui abbiamo a che fare.

Esempio

Nell'esempio seguente abbiamo in programma di mescolare e quindi riorganizzare tutte le lettere di una frase tranne la prima e l'ultima per ottenere le possibili parole alternative che possono essere generate come una parola errata durante la scrittura da un umano. Questa riorganizzazione ci aiuta a entrare

import random
import re
def replace(t):
    inner_word = list(t.group(2))
    random.shuffle(inner_word)
    return t.group(1) + "".join(inner_word) + t.group(3)
text = "Hello, You should reach the finish line."
print re.sub(r"(\w)(\w+)(\w)", replace, text)
print re.sub(r"(\w)(\w+)(\w)", replace, text)

Quando eseguiamo il programma sopra, otteniamo il seguente output:

Hlleo, You slouhd raech the fsiinh lnie.
Hlleo, You suolhd raceh the fniish line.

Qui puoi vedere come le parole sono confuse ad eccezione della prima e dell'ultima lettera. Adottando un approccio statistico all'ortografia errata, possiamo decidere quali sono le parole comunemente scritte in modo errato e fornire l'ortografia corretta per esse.