Online assessment tips

TestGroup: kunstmatige intelligentie, AI en online assessments

Een veel besproken onderwerp op het gebied van online assessments is kunstmatige intelligentie (AI). Hoe kunnen ontwikkelaars van online assessments AI implementeren in hun testen op een manier die echt waarde toevoegt voor hun klanten? Dit artikel laat zien hoe TestGroup AI toepast in de Bridge Assessment instrumenten.

Toepassing van kunstmatige intelligentie en algoritmes in online assessments

Kunstmatige intelligentie kan ervoor zorgen dat technologie, systemen en software in staat zijn hun omgeving (data) te interpreteren om zo acties te ondernemen die de kans op het behalen van doelen of resultaten maximaliseren.

TestGroup maakt al meer dan 10 jaar gebruik van machine learning en AI in online assessments. Veel populaire testen zijn ontworpen voordat ze konden profiteren van de capaciteit van internet (o.a. MBTI, NEO PI). Dit soort tools zijn ooit ontwikkeld voor gebruik op papier en maken daarom geen gebruik van AI. Omdat The Bridge assessment instrumenten rond 2004 ontwikkeld zijn, was de implementatie van intelligente software en AI direct mogelijk vanaf de lancering van de Bridge assessment instrumenten meer dan 15 jaar geleden.

TestGroup heeft online assessments ontwikkeld die gebruik maken van grote datasets om zo de voorspelling van de assessments te optimaliseren met een hiërarchie van gespecialiseerde algoritmes. De interactieve software van de Bridge-testen selecteert de items die aan kandidaten worden gepresenteerd door verschillende algoritmes te gebruiken.

• De Bridge-persoonlijkheidstesten (The Bridge Personality & The Bridge Personality Quickscan) presenteren verschillende items aan kandidaten op basis van hun eerste antwoorden. Hiermee wordt een betere meting van persoonlijkheid mogelijk gemaakt en wordt o.a. sociaal wenselijk antwoordgedrag inzichtelijk gemaakt.
• Onze capaciteitentesten (The Bridge Ability Suite en The Bridge Ability Online) halen items uit grote itembanken om kandidaten te voorzien van verschillende inhoud; dit wordt gecontroleerd zodat we items met dezelfde moeilijkheidsgraad kunnen presenteren aan testpersonen.
• The Bridge Sales Performance (online sales assessment) gebruikt patroonherkenning algoritmes die zijn gebaseerd op de reacties van (sales) deskundigen om geoptimaliseerde scores te genereren.

We gebruiken transparante modellen die groepsverschillen op het gebied van leeftijd, geslacht en etniciteit minimaliseren.

Afhankelijk van de grootte van de dataset die we gebruiken om onze algoritmes te ontwikkelen, gebruiken we een mix van natuurlijke en kunstmatige intelligentie om onze data te modelleren. Dit zorgt ervoor dat wij zicht hebben op de specifieke informatie die onze algoritmes gebruiken en dat deze algoritmes content- en criteriumvalide zijn, zodat we beslissingen op basis van deze algoritmes kunnen rechtvaardigen.

The Bridge AI: online interview tool voor selectie en recruitment

Voor recruiters en HR-medewerkers zijn sollicitatiegesprekken vaak tijdrovend en intensief. Het is geen uitzondering dat een recruiter 5 tot 6 uur per dag besteedt aan het voeren van interviews. Na het gesprek moeten er notities worden verwerkt en wordt er vaak nog een test ingezet om de persoonlijkheid van de kandidaat te meten. Dit kost veel tijd en moeite. Gelukkig kan een online interview tool, zoals The Bridge AI, dit proces in enkele seconden doen, met zoveel kandidaten als je maar wilt, van over de hele wereld.

Kunstmatige intelligentie: automatisch interviews afnemen

The Bridge AI is een online interview tool die gebruik maakt van kunstmatige intelligentie. Kandidaten worden uitgenodigd om drie open vragen te beantwoorden. De antwoorden op deze vragen worden vervolgens gebruikt om een rapport te maken dat scores weergeeft op de Big Five persoonlijkheidskenmerken, zes competenties (Six Drives) en natuurlijk de antwoorden op de interviewvragen. The Bridge AI geeft je voldoende informatie om een eerste selectie van geschikte kandidaten te maken.

Hoe werkt The Bridge AI?

The Bridge AI maakt gebruik van NLP, oftewel Natural Language Processing. Dit proces geeft een computer de mogelijkheid om menselijke taal in gesproken of geschreven vorm te begrijpen. Bij recruitment en selectie kan The Bridge AI worden gebruikt om het recruitmentproces efficiënter te maken, tijd te besparen, zonder vooroordelen te selecteren, de ervaring van kandidaten te verbeteren en nog veel meer.

Voorbeeldrapport: The Bridge AI

Bekijk hier een voorbeeldrapport van The Bridge AI. Dit rapport geeft o.a. scores op de Big Five (Openheid, Ordelijkheid, Extraversie, Meegaandheid en Emotionele stabiliteit) en scores op de Six Drives (Analytisch, Samenwerken, Prestatiegericht, Gericht op status, Beloninggedreven en Risicogericht).

Voorbeeldpagina uit het rapport

Valkuilen bij het gebruik van AI in online assessments

Het toepassen van AI in online assessments kent veel verschillende benaderingen en sommige daarvan kunnen risico's met zich meebrengen. Om deze reden heeft TestGroup zijn op AI gebaseerde online assessments uitvoerig onderzocht op betrouwbaarheid en validiteit. 

De 'black-box': welke variabelen gebruikt het algoritme voor de voorspelling?

Door duizenden datapunten te meten/verzamelen en vervolgens machine learning of neural networks te gebruiken in een poging om uitkomsten te voorspellen, kan een ‘black box-benadering’ in sommige assessments ontstaan, wat inhoudt dat onlogische of bevooroordeelde variabelen worden gebruikt om uitkomsten te voorspellen. Deze benadering kan ertoe leiden dat organisaties wervingsbeslissingen nemen die juridisch moeilijk te rechtvaardigen zijn omdat ze simpelweg niet weten wat de uiteindelijke selectiecriteria van de AI-software zijn geweest (‘black box’). Dit is met name een probleem tijdens de toepassing van neural networks in assessments. TestGroup assessments zijn zo ontworpen dat dit probleem geen rol speelt.

Het algoritme werkt niet in elke dataset

Het tweede gevaar is (over)generalisatie. Zo kunnen neural networks bijvoorbeeld verschillende relaties in een grote dataset zien. Echter, de relaties die het neural network in deze data ziet kunnen illusies zijn – dat betekent dat het neural network in een nieuwe dataset deze patronen niet ziet en de AI-software in dat geval geen bruikbare voorspellingen doet. De techniek in de algoritmes van TestGroup zorgt ervoor dat overgeneralisatie niet mogelijk is in onze assessment tools.

Niet elke organisatie heeft de juiste data beschikbaar

Machine learning is een van de voorspellende analytische methoden die we kunnen inzetten om gedrag te voorspellen. Het nut van deze methode is echter afhankelijk van het beschikbaar zijn van de juiste data. Sommige benaderingen van machine learning gebruiken zeer grote steekproeven binnen één organisatie (bijv. meer dan 10.000) en ook afzonderlijke grote steekproeven om het algoritme te trainen. Ook moeten de datasets hoogwaardige data bevatten die toepasbaar is door het algoritme. Indien deze data binnen een organisatie niet beschikbaar is, is machine learning niet geschikt als voorspellend model. Om deze reden werkt TestGroup uitsluitend met datasets die groot genoeg zijn voor de ontwikkeling van online assessments.