Reliabilitet og måleusikkerhed

Hvad er reliabilitet?

Observeret score består af signal og målefejl i en bestemt målemodel. Standardfejlen kan omsætte reliabilitet til et interval omkring scoren, men intervallet dækker ikke alle former for systematisk bias eller forkert fortolkning.

Reliabilitet bliver mest præcist, når begrebet kobles til konstrukt, instrument, population, administration, score og beslutningsformål. Det gør det muligt at skelne mellem en faglig definition, en praktisk model og en løs hverdagsetiket. Skellet er vigtigt, fordi de tre former ikke kan bære de samme konklusioner eller beslutninger.

Vigtige afgrænsninger

• Intern konsistens handler om sammenhæng mellem items, ikke stabilitet over tid.
• Test-retest blander stabilitet i konstruktet med ændringer i personen og situationen.
• Bedømmerreliabilitet er central, når mennesker scorer interview, cases eller adfærd.

Afgrænsningerne omkring reliabilitet er ikke kun sproglige. De bestemmer, hvilke data der er relevante, hvilke fejl man risikerer, og om en anbefaling kan forsvares. Start derfor med at skrive, hvad begrebet omfatter og ikke omfatter i den konkrete brug.

Hvad viser forskningen?

Faglige standarder kræver præcisionsdokumentation for de relevante scores og undergrupper.

Et højt alpha-tal kan skyldes mange ens items og beviser ikke endimensionalitet.

Beslutninger nær en grænse er særligt følsomme over for måleusikkerhed.

Kilderne om reliabilitet viser et samlet mønster, men de er ikke et løfte om et bestemt resultat hos en bestemt person eller arbejdsplads. Studier varierer i population, design, måling og kontekst. Korrelationer kan støtte en faglig hypotese, men fastslår ikke alene årsag og virkning.

Sådan kan reliabilitet bruges ansvarligt

1. Definér hvilken form for konsistens beslutningen kræver.
2. Kontrollér estimat, stikprøve og konfidensinterval.
3. Beregn og forklar scoreusikkerhed.
4. Brug flere målinger eller datakilder ved høj konsekvens.

Skriv først hvilket konstrukt og hvilken beslutning reliabilitet skal understøtte. Kontrollér instrument, normer, usikkerhed og dokumentation, og beslut på forhånd hvordan resultatet kombineres med andre data og forklares for den berørte person.

Begrænsninger og typiske fejl

• Brug ikke 0,70 som universel magisk grænse.
• Rapportér ikke en præcis score uden usikkerhed.
• Forveksl ikke reliabilitet med validitet eller fairness.

Ved brug af reliabilitet er den vigtigste kildekritiske regel proportionalitet. Jo større konsekvens en fortolkning får for mennesker, desto stærkere og mere lokal dokumentation kræves. En model kan være god til refleksion uden at være egnet til udvælgelse, diagnose eller juridiske konklusioner.

Måling og opfølgning

Ved måling af reliabilitet: Dokumentér scoredefinition, måleusikkerhed, normgruppe og den præcise beslutning. Undersøg reliabilitet, validitet og fairness for den konkrete brug. Små forskelle omkring en tærskel bør behandles som usikre og suppleres med andre relevante data.

For reliabilitet skal det på forhånd beskrives, hvad der tæller som forbedring, hvilken periode der er relevant, og hvem der kan korrigere fortolkningen. Hvis målet ændres efter resultaterne er set, bliver evalueringen let en efterrationalisering. Brug hellere få tydelige indikatorer end et stort dashboard uden beslutningsværdi.

Kort FAQ

Hvad betyder en score på reliabilitet?

En score har kun mening i forhold til en defineret skala, administration, norm eller reference og et bestemt formål. Den indeholder måleusikkerhed og må ikke fortolkes som en fuldstændig eller uforanderlig beskrivelse af personen.

Kan resultatet bruges alene?

Nej ved beslutninger med konsekvenser. Brug kun reliabilitet til et formål, dokumentationen understøtter, og kombiner resultatet med andre jobrelevante eller fagligt relevante data.

Hvilken dokumentation bør man bede om?

Bed om manual, konstruktsdefinition, reliabilitet, validitet, normgrundlag, fairness-analyser, versionsnummer og kompetencekrav. Markedsføring eller en generel henvisning til forskning er ikke det samme som lokal dokumentation.

Fra score til forsvarlig fortolkning

En fortolkning af reliabilitet skal forbinde konstrukt, instrument, administration, referencegrundlag og beslutningsformål. Skriv også hvilken usikkerhed og hvilke alternative forklaringer der findes. Flere decimaler eller farvekategorier gør ikke målingen mere præcis.

Kontrollér dokumentationen for den aktuelle version og population. En generel forskningsartikel om et konstrukt validerer ikke automatisk et bestemt kommercielt instrument eller dets anvendelse i en konkret beslutning.

Implementering trin for trin

Trin 1: Definér hvilken form for konsistens beslutningen kræver

Dokumentér trinnet: Definér hvilken form for konsistens beslutningen kræver. Angiv instrumentversion, datagrundlag, fagligt ansvarlig, fortolkningsregel og grænser for anvendelsen. Den berørte person skal kunne stille spørgsmål og korrigere faktuelle fejl.

Trin 2: Kontrollér estimat, stikprøve og konfidensinterval

Dokumentér trinnet: Kontrollér estimat, stikprøve og konfidensinterval. Angiv instrumentversion, datagrundlag, fagligt ansvarlig, fortolkningsregel og grænser for anvendelsen. Den berørte person skal kunne stille spørgsmål og korrigere faktuelle fejl.

Trin 3: Beregn og forklar scoreusikkerhed

Dokumentér trinnet: Beregn og forklar scoreusikkerhed. Angiv instrumentversion, datagrundlag, fagligt ansvarlig, fortolkningsregel og grænser for anvendelsen. Den berørte person skal kunne stille spørgsmål og korrigere faktuelle fejl.

Trin 4: Brug flere målinger eller datakilder ved høj konsekvens

Dokumentér trinnet: Brug flere målinger eller datakilder ved høj konsekvens. Angiv instrumentversion, datagrundlag, fagligt ansvarlig, fortolkningsregel og grænser for anvendelsen. Den berørte person skal kunne stille spørgsmål og korrigere faktuelle fejl.

Kvalitetssikring før brug

Kontrollér at definition, kilder, anbefalinger og den konkrete anvendelse af reliabilitet passer sammen. En kilde om gennemsnitlige sammenhænge kan ikke alene begrunde en individuel beslutning, og en teori om en mekanisme dokumenterer ikke automatisk effekten af et bestemt produkt.

Ved arbejde med reliabilitet skal mindst ét perspektiv kunne udfordre den foretrukne forklaring, og berørte personer skal kunne korrigere faktuelle fejl. Ved høj konsekvens skal kontrol og dokumentation være tilsvarende stærkere.

Dokumentation og beslutningsspor

For reliabilitet noteres formål, datakilder, ansvarlig, beslutningsregel, begrænsninger og dato for genbesøg. Beskriv også hvad der ikke blev målt, og hvilke personer eller situationer datagrundlaget dækker dårligt.

Ved gentagen brug af reliabilitet skal versioner og ændringer kunne spores. Nye spørgsmål, systemer, normer eller målgrupper kan ændre fortolkningen, så en tidligere godkendelse må ikke behandles som permanent tilladelse til enhver anvendelse.

Spørgsmål til faglig gennemgang

• Hvilken præcis definition af reliabilitet bruger vi?
• Hvilken beslutning eller adfærd skal begrebet forbedre?
• Hvilken kilde er stærkest, og hvad kan den ikke dokumentere?
• Hvilke alternative forklaringer er realistiske?
• Hvem bærer risikoen ved en forkert fortolkning?
• Hvornår og på hvilket grundlag stopper eller ændrer vi praksis?

Eksempel fra praksis

En organisation vil bruge reliabilitet i en beslutning. Den definerer konstrukt og formål, kontrollerer dokumentationen for den konkrete version og skriver på forhånd, hvordan resultatet kombineres med andre data.

Nære eller modstridende resultater behandles som usikre. Personen får en forståelig forklaring, og organisationen registrerer både afgørelse, begrænsninger og mulighed for korrektion uden at gøre scoren til en identitet.

Fordeling af roller og ansvar

Testudbyderen skal levere dokumentation for instrument og version. En kompetent testbruger ejer korrekt administration og fortolkning, mens beslutningsejeren afgør formål, proportionalitet og hvordan reliabilitet indgår med andre data.

Den testede person skal have forståelig information, relevant feedback og mulighed for at korrigere faktuelle fejl. Ved klinisk, juridisk eller anden reguleret brug kræves den relevante kvalifikation og konkrete faglige vurdering.

Kildernes styrker og svagheder

Standards for Educational and Psychological Testing

Tværfaglig fagstandard for validitet, reliabilitet, fairness, scoring og testbrug. Den er normativ vejledning, ikke et effektstudie af en bestemt test. I vurderingen af reliabilitet bruges kilden derfor til det afgrænsede spørgsmål, den faktisk undersøger, og ikke som generelt bevis for alle produkter, personer eller arbejdspladser med samme begreb.

EFPA Test Review Model, Version 2025

Europæisk model til systematisk vurdering af testkvalitet. Den hjælper med at stille krav, men validerer ikke automatisk et konkret produkt. I vurderingen af reliabilitet bruges kilden derfor til det afgrænsede spørgsmål, den faktisk undersøger, og ikke som generelt bevis for alle produkter, personer eller arbejdspladser med samme begreb.

Evaluating the Use of Exploratory Factor Analysis in Psychological Research

Peer-reviewet metodeoversigt. Anbefalinger afhænger af datakvalitet og formål; faktoranalyse beviser ikke i sig selv et konstrukt. I vurderingen af reliabilitet bruges kilden derfor til det afgrænsede spørgsmål, den faktisk undersøger, og ikke som generelt bevis for alle produkter, personer eller arbejdspladser med samme begreb.

Kilder og kildekritik

Kildelisten for reliabilitet prioriterer faglige standarder, meta-analyser, systematiske reviews og originale modeller. Noterne angiver centrale begrænsninger. Det er vigtigt, fordi en troværdig udgiver eller peer review ikke i sig selv gør enhver praktisk påstand sand.

Relaterede begreber og hjælp i praksis

Læs også Standardisering og normgrupper i psykologiske test, Råscore, percentil og standardscores forklaret, Konstrukter, faktoranalyse og latente variable.

Lykkeco bruger profiler og test som struktureret beslutnings- eller dialogstøtte inden for det formål, dokumentationen kan bære. Resultater fortolkes med usikkerhed, kontekst og mulighed for spørgsmål, aldrig som hele sandheden om et menneske. Her bliver reliabilitet altid afgrænset til det formål og den evidens, som den konkrete anvendelse kan bære.