Affidabilità
II.2.7.2 Affidabilità
Il principale test di attendibilità nei studi del contenuto è l’affidabilità interna, definita come il limite in cui diversi correttori, ciascuno codificando lo stesso contenuto, vanno a prendere la stessa decisione di codifica. Il più semplice e comune metodo per analizzare l’affidabilità interna è la percentuale statistica di accordo. Questa statistica riflette il numero di accordo per numero totale di decisioni di codifica.
Potter, Levine e Donnerstein (1999, p.258) ritengono i dati di affidabilità come un’importante parte dei risultati della loro ricerca e suggerendo il seguente consiglio: «se l’analisi del contenuto non può dimostrare una forte affidabilità delle sue ricerche, allora le persone che vogliono applicare questi risultati dovranno essere cauti nello svilupparne implementazioni” Dei 19 studi pubblicati nello studio di Rourke et al. soltanto 10 riportano i dati di affidabilità.
Molti ricercatori giudicano inadeguata la misura dell’affidabilità come accordo tra i correttori perché esso non elimina l’accordo fortuito tra i correttori (Capozzoli, McSweeney e Sinha, 1999). Tre dei studi raccolti da Rourke et al. usano la statistica Kappa di Cohen (K) per determinare l’affidabilità. La kappa di Cohen è una statistica che corregge le misure casuali nell’affidabilità interna tra due valutatori. La difficoltà di raggiungere un accettabile livello di affidabilità interna ha spinto lo sviluppo di sistemi alternativi di trascrizione della codifica. Barros e Verdejo (2000), Duffy, Dueber e Hawley (1998), e Ravenscroft e Pilkington (2000) hanno sviluppato un sistema di conferenza semi-strutturato in cui i partecipanti scelgono il tipo di contributo che essi stanno creando da un limitato set di alternative. Per esempio nel forum di discussione basata sui problemi/questioni di Duffy, Dueber, e Hawley gli studenti inviano un messaggio scegliendo una delle seguenti etichette: ipotesi, punto importante, evidenza, o questione da apprendere. Per l’analisi del contenuto, queste intenzioni degli studenti sono codifiche essenziali già possedute dai loro messaggi.
