Statistiche: coefficiente kappa di Cohen
Cohen's kappa coefficientè una statistica che misura l'accordo tra valutatori per elementi qualitativi (categoriali). In genere si ritiene che sia una misura più robusta rispetto al semplice calcolo dell'accordo percentuale, poiché k tiene conto dell'accordo che si verifica per caso. Il kappa di Cohen misura l'accordo tra due valutatori che classificano ciascuno N elementi in C categorie che si escludono a vicenda.
Il coefficiente kappa di Cohen è definito e dato dalla seguente funzione:
Formula
$ {k = \ frac {p_0 - p_e} {1-p_e} = 1 - \ frac {1-p_o} {1-p_e}} $
Dove -
$ {p_0} $ = accordo relativo osservato tra valutatori.
$ {p_e} $ = la probabilità ipotetica di accordo casuale.
$ {p_0} $ e $ {p_e} $ vengono calcolati utilizzando i dati osservati per calcolare le probabilità di ogni osservatore che pronuncia casualmente ciascuna categoria. Se i valutatori sono completamente d'accordo allora $ {k} $ = 1. Se non c'è accordo tra i valutatori diverso da quello che ci si aspetterebbe per caso (come indicato da $ {p_e} $), $ {k} $ ≤ 0 .
Esempio
Problem Statement:
Supponiamo che tu stia analizzando i dati relativi a un gruppo di 50 persone che richiedono una sovvenzione. Ogni proposta di sovvenzione è stata letta da due lettori e ogni lettore ha detto "Sì" o "No" alla proposta. Supponiamo che i dati sul conteggio dei disaccordi fossero i seguenti, dove A e B sono lettori, i dati sull'inclinazione diagonale sinistra mostrano il conteggio degli accordi ei dati sull'inclinazione diagonale destra, disaccordi:
| B | |||
|---|---|---|---|
| sì | No | ||
| UN | sì | 20 | 5 |
| No | 10 | 15 | |
Calcola il coefficiente kappa di Cohen.
Solution:
Si noti che c'erano 20 proposte che sono state accettate sia dal lettore A che dal lettore B e 15 proposte che sono state rifiutate da entrambi i lettori. Pertanto, l'accordo proporzionato osservato è
$ {p_0 = \ frac {20 + 15} {50} = 0.70} $
Per calcolare $ {p_e} $ (la probabilità di accordo casuale) notiamo che:
Il lettore A ha detto "Sì" a 25 candidati e "No" a 25 richiedenti. Così il lettore A ha detto "Sì" il 50% delle volte.
Il lettore B ha detto "Sì" a 30 richiedenti e "No" a 20 richiedenti. Così il lettore B ha detto "Sì" il 60% delle volte.
Usando la formula P (A e B) = P (A) x P (B) dove P è la probabilità che l'evento si verifichi.
La probabilità che entrambi dicano "Sì" in modo casuale è 0,50 x 0,60 = 0,30 e la probabilità che entrambi dicano "No" è 0,50 x 0,40 = 0,20. Quindi la probabilità complessiva di accordo casuale è $ {p_e} $ = 0,3 + 0,2 = 0,5.
Quindi ora applicando la nostra formula per Kappa di Cohen otteniamo:
$ {k = \ frac {p_0 - p_e} {1-p_e} = \ frac {0.70 - 0.50} {1-0.50} = 0.40} $