Kriterier, range restriction og krydsvalidering

Hvad er krydsvalidering?

Kriterievaliditet forbinder prædiktorer med relevante jobudfald. Hvis kriteriet er støjfyldt, snævert eller påvirket af samme beslutning, kan koefficienten misvise.

Krydsvalidering bliver mest præcist, når begrebet kobles til jobanalyse, kandidatpopulation, metode, kriterium, dataflow og beslutningsregel. Det gør det muligt at skelne mellem en faglig definition, en praktisk model og en løs hverdagsetiket. Skellet er vigtigt, fordi de tre former ikke kan bære de samme konklusioner eller beslutninger.

Vigtige afgrænsninger

• Udviklingssample bruges til at estimere modellen.
• Valideringssample bruges til uafhængig afprøvning.
• Range restriction kan være direkte eller indirekte og kræver begrundede korrektioner.

Afgrænsningerne omkring krydsvalidering er ikke kun sproglige. De bestemmer, hvilke data der er relevante, hvilke fejl man risikerer, og om en anbefaling kan forsvares. Start derfor med at skrive, hvad begrebet omfatter og ikke omfatter i den konkrete brug.

Hvad viser forskningen?

Nyere revurdering viser, at klassiske korrektioner ofte overestimerede validitet.

Krydsvalidering reducerer overfitting, men kræver tilstrækkelige og repræsentative data.

Lokale små samples giver ustabile koefficienter og bør kombineres med relevant ekstern evidens.

Kilderne om krydsvalidering viser et samlet mønster, men de er ikke et løfte om et bestemt resultat hos en bestemt person eller arbejdsplads. Studier varierer i population, design, måling og kontekst. Korrelationer kan støtte en faglig hypotese, men fastslår ikke alene årsag og virkning.

Sådan kan krydsvalidering bruges ansvarligt

1. Definér kriterium og tidsvindue før analyse.
2. Adskil udvikling og validering eller brug korrekt resampling.
3. Rapportér ukorrigerede og begrundede korrigerede estimater.
4. Monitorér model og undergrupper efter implementering.

Beskriv jobbet, formålet, kandidatpopulationen og den beslutning, krydsvalidering skal indgå i. Fastlæg kriterier, datakilder, ansvar og kontrol før resultaterne ses, og giv kandidaten en tydelig mulighed for information og korrektion.

Begrænsninger og typiske fejl

• Vælg ikke modellen på samme data, som bruges til at bevise den.
• Korrigér ikke mekanisk for maksimal effekt.
• Brug ikke performance-rating som fejlfrit kriterium.

Ved brug af krydsvalidering er den vigtigste kildekritiske regel proportionalitet. Jo større konsekvens en fortolkning får for mennesker, desto stærkere og mere lokal dokumentation kræves. En model kan være god til refleksion uden at være egnet til udvælgelse, diagnose eller juridiske konklusioner.

Måling og opfølgning

Ved måling af krydsvalidering: Følg både reliabilitet, validitet, kandidatreaktioner, gruppeskelle, fejltyper og praktisk nytte. Dokumentér versioner og beslutningsregler, så ændringer kan spores. En metode, der ser god ud samlet, kan fungere dårligt for en bestemt rolle, gruppe eller tærskel.

For krydsvalidering skal det på forhånd beskrives, hvad der tæller som forbedring, hvilken periode der er relevant, og hvem der kan korrigere fortolkningen. Hvis målet ændres efter resultaterne er set, bliver evalueringen let en efterrationalisering. Brug hellere få tydelige indikatorer end et stort dashboard uden beslutningsværdi.

Kort FAQ

Kan krydsvalidering bruges som eneste beslutningsgrundlag?

Som hovedregel bør en udvælgelsesmetode indgå i en jobrelevant, dokumenteret helhed. Kravet til evidens, transparens, fairness og mulighed for korrektion stiger med metodens indflydelse på beslutningen.

Hvordan kontrolleres fairness?

Ved brug af krydsvalidering defineres kriterier og beslutningsregler før resultaterne ses. Følg datakvalitet, fejltyper og gruppemønstre, og undersøg konkrete årsager i stedet for at antage, at samme procedure automatisk er fair.

Hvem har ansvaret?

Den ansættende organisation ejer formål, behandlingsgrundlag, kriterier og den endelige beslutning. En test- eller systemleverandør kan levere dokumentation, men overtager ikke arbejdsgiverens ansvar.

Fra metode til dokumenteret beslutningsproces

Knyt krydsvalidering til jobanalysen, et defineret kriterium og en skriftlig beslutningsregel. Angiv hvilken information metoden tilføjer, hvilke fejl den kan skabe, og hvordan en kandidat kan få en fejl korrigeret.

Validering og kontrol skal passe til den aktuelle metode, version, population og brug. Dokumentation fra leverandøren er relevant, men den ansættende organisation skal stadig kontrollere lokal jobrelevans, fairness, dataflow og konsekvenser.

Implementering trin for trin

Trin 1: Definér kriterium og tidsvindue før analyse

Gør trinnet revisionsbart: Definér kriterium og tidsvindue før analyse. Registrér ejer, datakilder, metodeversion, beslutningsregel og kandidatens informations- eller klagevej. Kontrollen skal ske før metoden får stor indflydelse på udfaldet.

Trin 2: Adskil udvikling og validering eller brug korrekt resampling

Gør trinnet revisionsbart: Adskil udvikling og validering eller brug korrekt resampling. Registrér ejer, datakilder, metodeversion, beslutningsregel og kandidatens informations- eller klagevej. Kontrollen skal ske før metoden får stor indflydelse på udfaldet.

Trin 3: Rapportér ukorrigerede og begrundede korrigerede estimater

Gør trinnet revisionsbart: Rapportér ukorrigerede og begrundede korrigerede estimater. Registrér ejer, datakilder, metodeversion, beslutningsregel og kandidatens informations- eller klagevej. Kontrollen skal ske før metoden får stor indflydelse på udfaldet.

Trin 4: Monitorér model og undergrupper efter implementering

Gør trinnet revisionsbart: Monitorér model og undergrupper efter implementering. Registrér ejer, datakilder, metodeversion, beslutningsregel og kandidatens informations- eller klagevej. Kontrollen skal ske før metoden får stor indflydelse på udfaldet.

Kvalitetssikring før brug

Kontrollér at definition, kilder, anbefalinger og den konkrete anvendelse af krydsvalidering passer sammen. En kilde om gennemsnitlige sammenhænge kan ikke alene begrunde en individuel beslutning, og en teori om en mekanisme dokumenterer ikke automatisk effekten af et bestemt produkt.

Ved arbejde med krydsvalidering skal mindst ét perspektiv kunne udfordre den foretrukne forklaring, og berørte personer skal kunne korrigere faktuelle fejl. Ved høj konsekvens skal kontrol og dokumentation være tilsvarende stærkere.

Dokumentation og beslutningsspor

For krydsvalidering noteres formål, datakilder, ansvarlig, beslutningsregel, begrænsninger og dato for genbesøg. Beskriv også hvad der ikke blev målt, og hvilke personer eller situationer datagrundlaget dækker dårligt.

Ved gentagen brug af krydsvalidering skal versioner og ændringer kunne spores. Nye spørgsmål, systemer, normer eller målgrupper kan ændre fortolkningen, så en tidligere godkendelse må ikke behandles som permanent tilladelse til enhver anvendelse.

Spørgsmål til faglig gennemgang

• Hvilken præcis definition af krydsvalidering bruger vi?
• Hvilken beslutning eller adfærd skal begrebet forbedre?
• Hvilken kilde er stærkest, og hvad kan den ikke dokumentere?
• Hvilke alternative forklaringer er realistiske?
• Hvem bærer risikoen ved en forkert fortolkning?

Kilder og kildekritik

Kildelisten for krydsvalidering prioriterer faglige standarder, meta-analyser, systematiske reviews og originale modeller. Noterne angiver centrale begrænsninger. Det er vigtigt, fordi en troværdig udgiver eller peer review ikke i sig selv gør enhver praktisk påstand sand.

Relaterede begreber og hjælp i praksis

Læs også Nytteanalyse og beslutningsmodeller i udvælgelse, AI i rekruttering: algoritmer, forklarlighed og menneskeligt tilsyn, Bias og diskrimination i rekruttering.

Lykkecos arbejde med test og second opinion tager udgangspunkt i jobanalyse, dokumenteret metode, flere datakilder og tydelig feedback. Den ansættende organisation ejer altid kriterierne, beslutningen, databeskyttelsen og den løbende kontrol af fairness. Her bliver krydsvalidering altid afgrænset til det formål og den evidens, som den konkrete anvendelse kan bære.