Verifica e convalida
Uno dei problemi reali che l'analista della simulazione deve affrontare è convalidare il modello. Il modello di simulazione è valido solo se il modello è una rappresentazione accurata del sistema reale, altrimenti non è valido.
Validazione e verifica sono le due fasi di qualsiasi progetto di simulazione per convalidare un modello.
Validationè il processo di confronto tra due risultati. In questo processo, dobbiamo confrontare la rappresentazione di un modello concettuale con il sistema reale. Se il confronto è vero, allora è valido, altrimenti non è valido.
Verificationè il processo di confronto di due o più risultati per garantirne l'accuratezza. In questo processo, dobbiamo confrontare l'implementazione del modello ei dati associati con la descrizione concettuale e le specifiche dello sviluppatore.
Tecniche di verifica e convalida
Esistono varie tecniche utilizzate per eseguire la verifica e la convalida del modello di simulazione. Di seguito sono riportate alcune delle tecniche comuni:
Tecniche per eseguire la verifica del modello di simulazione
Di seguito sono riportati i modi per eseguire la verifica del modello di simulazione:
Utilizzando competenze di programmazione per scrivere ed eseguire il debug del programma in sottoprogrammi.
Utilizzando il criterio "Procedura dettagliata strutturata" in cui più di una persona deve leggere il programma.
Tracciando i risultati intermedi e confrontandoli con i risultati osservati.
Controllando l'output del modello di simulazione utilizzando varie combinazioni di input.
Confrontando il risultato finale della simulazione con i risultati analitici.
Tecniche per eseguire la convalida del modello di simulazione
Step 1- Progettare un modello con alta validità. Ciò può essere ottenuto utilizzando i seguenti passaggi:
- Il modello deve essere discusso con gli esperti di sistema durante la progettazione.
- Il modello deve interagire con il cliente durante tutto il processo.
- L'output deve essere supervisionato da esperti di sistema.
Step 2- Testare il modello su dati di ipotesi. Ciò può essere ottenuto applicando i dati di ipotesi nel modello e testandoli quantitativamente. È inoltre possibile eseguire un'analisi sensibile per osservare l'effetto del cambiamento nel risultato quando vengono apportate modifiche significative ai dati di input.
Step 3- Determina l'output rappresentativo del modello di simulazione. Ciò può essere ottenuto utilizzando i seguenti passaggi:
Determina quanto è vicino l'output della simulazione con l'output del sistema reale.
Il confronto può essere eseguito utilizzando il test di Turing. Presenta i dati nel formato di sistema, che può essere spiegato solo da esperti.
Il metodo statistico può essere utilizzato per confrontare l'output del modello con l'output del sistema reale.
Confronto dei dati del modello con dati reali
Dopo lo sviluppo del modello, dobbiamo eseguire il confronto dei suoi dati di output con i dati del sistema reale. Di seguito sono riportati i due approcci per eseguire questo confronto.
Convalida del sistema esistente
In questo approccio, utilizziamo gli input del mondo reale del modello per confrontare il suo output con quello degli input del mondo reale del sistema reale. Questo processo di convalida è semplice, tuttavia, può presentare alcune difficoltà quando viene eseguito, ad esempio se l'output deve essere confrontato con la lunghezza media, il tempo di attesa, il tempo di inattività, ecc. Può essere confrontato utilizzando test statistici e test di ipotesi. Alcuni dei test statistici sono il test chi-quadrato, il test di Kolmogorov-Smirnov, il test di Cramer-von Mises e il test Moments.
Convalida del primo modello temporale
Considera che dobbiamo descrivere un sistema proposto che non esiste al presente né è esistito nel passato. Pertanto, non sono disponibili dati storici con cui confrontare le sue prestazioni. Quindi, dobbiamo utilizzare un sistema ipotetico basato su ipotesi. Seguire utili indicazioni aiuterà a renderlo efficiente.
Subsystem Validity- Un modello stesso può non avere alcun sistema esistente con cui confrontarlo, ma può essere costituito da un sottosistema noto. Ciascuna di quella validità può essere verificata separatamente.
Internal Validity - Un modello con un alto grado di varianza interna sarà rifiutato poiché un sistema stocastico con un'elevata varianza a causa dei suoi processi interni nasconderà i cambiamenti nell'output a causa dei cambiamenti nell'input.
Sensitivity Analysis - Fornisce le informazioni sul parametro sensibile nel sistema a cui dobbiamo prestare maggiore attenzione.
Face Validity - Quando il modello funziona su logiche opposte, allora dovrebbe essere rifiutato anche se si comporta come il sistema reale.