Raccomandazioni per la formazione sulla rete neurale

In questo capitolo, comprenderemo i vari aspetti dell'addestramento alla rete neurale che possono essere implementati utilizzando il framework TensorFlow.

Di seguito sono riportate le dieci raccomandazioni che possono essere valutate:

Indietro Propagazione

La propagazione all'indietro è un metodo semplice per calcolare le derivate parziali, che include la forma di composizione di base più adatta per le reti neurali.

Discesa stocastica del gradiente

Nella discesa del gradiente stocastico, a batchè il numero totale di esempi, che un utente utilizza per calcolare il gradiente in una singola iterazione. Finora, si presume che il batch sia stato l'intero set di dati. L'illustrazione migliore funziona su scala Google; i set di dati contengono spesso miliardi o addirittura centinaia di miliardi di esempi.

Decadimento del tasso di apprendimento

Adattare la velocità di apprendimento è una delle caratteristiche più importanti dell'ottimizzazione della discesa del gradiente. Questo è fondamentale per l'implementazione di TensorFlow.

Buttare fuori

Le reti neurali profonde con un gran numero di parametri formano potenti sistemi di apprendimento automatico. Tuttavia, l'adattamento eccessivo è un problema serio in tali reti.

Max Pooling

Max pooling è un processo di discretizzazione basato su campioni. Lo scopo è sottoporre a campionamento una rappresentazione di input, che riduce la dimensionalità con i presupposti richiesti.

Memoria a lungo termine (LSTM)

LSTM controlla la decisione su quali input dovrebbero essere presi all'interno del neurone specificato. Include il controllo per decidere cosa calcolare e quale output generare.