Nytteanalyse og beslutningsmodeller i udvælgelse

Hvad er nytteanalyse?

En metode med moderat validitet kan have forskellig nytte afhængigt af antal ansættelser, jobvarighed og baserate. Ikke-monetære konsekvenser som kandidatoplevelse, adgang og risiko skal også indgå.

Nytteanalyse bliver mest præcist, når begrebet kobles til jobanalyse, kandidatpopulation, metode, kriterium, dataflow og beslutningsregel. Det gør det muligt at skelne mellem en faglig definition, en praktisk model og en løs hverdagsetiket. Skellet er vigtigt, fordi de tre former ikke kan bære de samme konklusioner eller beslutninger.

Vigtige afgrænsninger

• Prædiktiv validitet er én inputvariabel til nytte.
• Selektionsrate er andelen af ansøgere, der ansættes.
• Sensitivitetsanalyse viser, hvordan resultatet ændres, når antagelser ændres.

Afgrænsningerne omkring nytteanalyse er ikke kun sproglige. De bestemmer, hvilke data der er relevante, hvilke fejl man risikerer, og om en anbefaling kan forsvares. Start derfor med at skrive, hvad begrebet omfatter og ikke omfatter i den konkrete brug.

Hvad viser forskningen?

Nyere validitetsestimater reducerer nytten i modeller, der byggede på ældre højere tal.

Økonomisk værdisætning af performance er ofte den mest usikre antagelse.

Retlige og etiske krav kan ikke ophæves af positiv beregnet nytte.

Kilderne om nytteanalyse viser et samlet mønster, men de er ikke et løfte om et bestemt resultat hos en bestemt person eller arbejdsplads. Studier varierer i population, design, måling og kontekst. Korrelationer kan støtte en faglig hypotese, men fastslår ikke alene årsag og virkning.

Sådan kan nytteanalyse bruges ansvarligt

1. Definér beslutning, alternativer og tidshorisont.
2. Brug realistiske intervaller for alle inputs.
3. Kør sensitivitets- og scenarieanalyse.
4. Rapportér fairness, kandidat- og driftskonsekvenser ved siden af økonomi.

Beskriv jobbet, formålet, kandidatpopulationen og den beslutning, nytteanalyse skal indgå i. Fastlæg kriterier, datakilder, ansvar og kontrol før resultaterne ses, og giv kandidaten en tydelig mulighed for information og korrektion.

Begrænsninger og typiske fejl

• Præsenter ikke ét beløb uden usikkerhed.
• Medregn ikke korrelation som kausal produktivitetsgevinst direkte.
• Skjul ikke fordeling af gevinster og omkostninger.

Ved brug af nytteanalyse er den vigtigste kildekritiske regel proportionalitet. Jo større konsekvens en fortolkning får for mennesker, desto stærkere og mere lokal dokumentation kræves. En model kan være god til refleksion uden at være egnet til udvælgelse, diagnose eller juridiske konklusioner.

Måling og opfølgning

Ved måling af nytteanalyse: Følg både reliabilitet, validitet, kandidatreaktioner, gruppeskelle, fejltyper og praktisk nytte. Dokumentér versioner og beslutningsregler, så ændringer kan spores. En metode, der ser god ud samlet, kan fungere dårligt for en bestemt rolle, gruppe eller tærskel.

For nytteanalyse skal det på forhånd beskrives, hvad der tæller som forbedring, hvilken periode der er relevant, og hvem der kan korrigere fortolkningen. Hvis målet ændres efter resultaterne er set, bliver evalueringen let en efterrationalisering. Brug hellere få tydelige indikatorer end et stort dashboard uden beslutningsværdi.

Kort FAQ

Kan nytteanalyse bruges som eneste beslutningsgrundlag?

Som hovedregel bør en udvælgelsesmetode indgå i en jobrelevant, dokumenteret helhed. Kravet til evidens, transparens, fairness og mulighed for korrektion stiger med metodens indflydelse på beslutningen.

Hvordan kontrolleres fairness?

Ved brug af nytteanalyse defineres kriterier og beslutningsregler før resultaterne ses. Følg datakvalitet, fejltyper og gruppemønstre, og undersøg konkrete årsager i stedet for at antage, at samme procedure automatisk er fair.

Hvem har ansvaret?

Den ansættende organisation ejer formål, behandlingsgrundlag, kriterier og den endelige beslutning. En test- eller systemleverandør kan levere dokumentation, men overtager ikke arbejdsgiverens ansvar.

Fra metode til dokumenteret beslutningsproces

Knyt nytteanalyse til jobanalysen, et defineret kriterium og en skriftlig beslutningsregel. Angiv hvilken information metoden tilføjer, hvilke fejl den kan skabe, og hvordan en kandidat kan få en fejl korrigeret.

Validering og kontrol skal passe til den aktuelle metode, version, population og brug. Dokumentation fra leverandøren er relevant, men den ansættende organisation skal stadig kontrollere lokal jobrelevans, fairness, dataflow og konsekvenser.

Implementering trin for trin

Trin 1: Definér beslutning, alternativer og tidshorisont

Gør trinnet revisionsbart: Definér beslutning, alternativer og tidshorisont. Registrér ejer, datakilder, metodeversion, beslutningsregel og kandidatens informations- eller klagevej. Kontrollen skal ske før metoden får stor indflydelse på udfaldet.

Trin 2: Brug realistiske intervaller for alle inputs

Gør trinnet revisionsbart: Brug realistiske intervaller for alle inputs. Registrér ejer, datakilder, metodeversion, beslutningsregel og kandidatens informations- eller klagevej. Kontrollen skal ske før metoden får stor indflydelse på udfaldet.

Trin 3: Kør sensitivitets- og scenarieanalyse

Gør trinnet revisionsbart: Kør sensitivitets- og scenarieanalyse. Registrér ejer, datakilder, metodeversion, beslutningsregel og kandidatens informations- eller klagevej. Kontrollen skal ske før metoden får stor indflydelse på udfaldet.

Trin 4: Rapportér fairness, kandidat- og driftskonsekvenser ved siden af økonomi

Gør trinnet revisionsbart: Rapportér fairness, kandidat- og driftskonsekvenser ved siden af økonomi. Registrér ejer, datakilder, metodeversion, beslutningsregel og kandidatens informations- eller klagevej. Kontrollen skal ske før metoden får stor indflydelse på udfaldet.

Kvalitetssikring før brug

Kontrollér at definition, kilder, anbefalinger og den konkrete anvendelse af nytteanalyse passer sammen. En kilde om gennemsnitlige sammenhænge kan ikke alene begrunde en individuel beslutning, og en teori om en mekanisme dokumenterer ikke automatisk effekten af et bestemt produkt.

Ved arbejde med nytteanalyse skal mindst ét perspektiv kunne udfordre den foretrukne forklaring, og berørte personer skal kunne korrigere faktuelle fejl. Ved høj konsekvens skal kontrol og dokumentation være tilsvarende stærkere.

Dokumentation og beslutningsspor

For nytteanalyse noteres formål, datakilder, ansvarlig, beslutningsregel, begrænsninger og dato for genbesøg. Beskriv også hvad der ikke blev målt, og hvilke personer eller situationer datagrundlaget dækker dårligt.

Ved gentagen brug af nytteanalyse skal versioner og ændringer kunne spores. Nye spørgsmål, systemer, normer eller målgrupper kan ændre fortolkningen, så en tidligere godkendelse må ikke behandles som permanent tilladelse til enhver anvendelse.

Spørgsmål til faglig gennemgang

• Hvilken præcis definition af nytteanalyse bruger vi?
• Hvilken beslutning eller adfærd skal begrebet forbedre?
• Hvilken kilde er stærkest, og hvad kan den ikke dokumentere?
• Hvilke alternative forklaringer er realistiske?
• Hvem bærer risikoen ved en forkert fortolkning?
• Hvornår og på hvilket grundlag stopper eller ændrer vi praksis?

Eksempel fra praksis

En arbejdsgiver vil anvende nytteanalyse i udvælgelsen. Før kandidater vurderes, dokumenterer organisationen jobrelevans, datakilder, beslutningsregel, ansvar og den information, kandidaten skal have.

Efter indførelsen følges fejltyper, kandidatreaktioner og gruppemønstre. Uventede forskelle udløser undersøgelse og mulig pause, mens leverandørens generelle påstand om validitet ikke behandles som tilstrækkelig lokal dokumentation.

Fordeling af roller og ansvar

Arbejdsgiveren er ansvarlig for jobkriterier, formål, databeskyttelse og den endelige beslutning. Leverandøren skal dokumentere metode og system, mens en kompetent bruger vurderer, om nytteanalyse anvendes inden for dokumentationens grænser.

Kandidaten skal kunne forstå processen og korrigere relevante fejl. Jura-, data- eller testfaglige specialister skal kun krediteres for de dele, de faktisk har gennemgået, og deres review erstatter ikke arbejdsgiverens ansvar.

Kilder og kildekritik

Kildelisten for nytteanalyse prioriterer faglige standarder, meta-analyser, systematiske reviews og originale modeller. Noterne angiver centrale begrænsninger. Det er vigtigt, fordi en troværdig udgiver eller peer review ikke i sig selv gør enhver praktisk påstand sand.

Relaterede begreber og hjælp i praksis

Læs også AI i rekruttering: algoritmer, forklarlighed og menneskeligt tilsyn, Bias og diskrimination i rekruttering, Kandidatoplevelsen gennem rekrutteringsprocessen.

Lykkecos arbejde med test og second opinion tager udgangspunkt i jobanalyse, dokumenteret metode, flere datakilder og tydelig feedback. Den ansættende organisation ejer altid kriterierne, beslutningen, databeskyttelsen og den løbende kontrol af fairness. Her bliver nytteanalyse altid afgrænset til det formål og den evidens, som den konkrete anvendelse kan bære.