- Joni Metsänraja

Voiko tekoälyllä manipuloida henkilöarvioinnin persoonallisuuskyselyjä?

LinkedInissä törmäsin videoon, jossa yhdysvaltalainen psykologian professori Richard Landers yrittää saada ChatGPT:ltä ohjeita, miten persoonallisuuskyselyissä voisi parantaa omaa tulostaan. Pohdin tässä blogikirjoituksessa, onko se mahdollista henkilöarvioinnissa. Ja jos on, kannattaako sellaista yrittää.

Jos et jaksa katsoa videota (kesto yli puoli tuntia), summaan sen ytimen: professori yrittää saada syötteillä ChatGPT:tä paljastamaan, mitä persoonallisuuskyselyt pitävät sisällään ja miten niihin kannattaisi vastata, jotta saisi vaikkapa haluamansa työpaikan. ChatGPT on opetettu internetin avulla, joten se on törmännyt tuossa datan meressä persoonallisuuskyselyihin ja näin ollen sen voisi olettaa osaavan antaa niihin jonkinlaisia vastauksia.

Tiedon saaminen ei videon perusteella näytä olevan aivan helppoa. ChatGPT:llä on eettisiä ohjeita, jotka haraavat tällaisen tiedon antamista vastaan, mutta niitä voidaan yrittää kiertää manipuloimalla sitä. Voidaan esimerkiksi vedota tiedon antamatta jättämisen olevan epäeettistä. Tätä kutsutaan termillä ”jailbreaking”, ja asiasta tehdään myös akateemista tutkimusta.

Jopa alaa tutkineelta professorilta menee aikaa, pohdintaa ja monta kokeilua ennen kuin hän saa edes jokseenkin sellaisia vastauksia ChatGPT:ltä kuin hän haluaa. Eli aivan helppoa se ei ole, joten uskallankin väittää, että tällä hetkellä tavalliselta asiaan perehtymättömältä kansalaiselta se tuskin onnistuu. Mutta toki tällaiset videot voivat auttaa siinä.

Auttaako tekoälyn antama tieto per­soo­nal­li­suus­ky­se­lyis­sä ja hen­ki­lö­ar­vios­sa

No, kyllähän ne voivat – hieman. Jos ei ole lainkaan tietoinen, millaisia kysymyksiä eteen saattaa persoonallisuuskyselyissä tupsahtaa ja millainen logiikka niiden taustalla on, ChatGPT:n tarjoama tieto voi olla valaisevaa. Mutta saman tiedon saa ihan vain googlettamalla.

Tällaista tietoa hyödyntäen voi sitten yrittää manipuloida ja pyrkiä korostamaan joitain piirteitä itsessään. Voi korostaa vaikkapa kuinka ulospäinsuuntautunut tai tunnollinen on.

Mutta kuinka hyvin se sitten onnistuu? En panisi rahojani sen puolesta likoon, en ainakaan vielä. Listataanpa miksi:

1. Persoonallisuustesteissä on tietyt verrokkiryhmät. Jos ChatGPT:ltä saisi selkeitä ohjeita, miten vastata tähän ja tuohon väittämään, ne voivat toimia vaikkapa yhdysvaltalaisessa kontekstissa, mutta saattaisi näkyä mielenkiintoisina tuloksina suomalaisittain. Tämä herättänee epäilyksiä arvioitsijassa, mikä ei ole hyvä asia kandidaatin näkökulmasta.

2. Henkilöarvioinnissa käytetään monia eri kyselyitä. Niissä voi olla eri väitteitä, jotka tutkivat samaa ilmiötä, joten kuinka yhdenmukaisen kuvan henkilö pystyy antamaan? Ristiriitainen vaikutelma ei ole kovin toivottavaa.

3. Henkilöarviointi sisältää haastattelun. Siinä henkilöarvioija vertaa persoonallisuuskyselyiden tuloksia kandidaatin käytökseen sekä siihen ihmismassaan, jota hän on uransa aikana haastatellut. Haastattelukysymykset ovat sellaisia, joiden tarkoituksena on nähdä, miten kandidaatti reagoi ja tuottaa niihin vastauksia. Esim. todella introvertin on vaikea esittää ekstroverttiä. Auttaako ChatGPT tässä? Ei.

4. Kyselyihin on sisäänrakennettu mekanismeja, joiden tarkoituksena on tunnistaa mahdollisia manipulointiyrityksiä. Onko ChatGPT päässyt lukemaan kyselyiden manuaaleja ja tietääkö, miten tietyissä verrokkiryhmissä nämä mittarit käyttäytyvät? En usko.

5. Mitkä ovat ”oikeita” vastauksia? Jo nyt työpaikkailmoituksesta voi jokainen yrittää päätellä, mitä työssä haetaan ja yrittää vastata sen mukaan. Mutta arvioinnissa voidaan tarkastella joitain spesifejä kriteerejä, jotka eivät ole niin itsestään selviä. Näistä ChatGPT tai mikään muukaan tekoäly ei ole tietoinen.

6. Ja vaikka persoonallisuustesteissä saisi hieman vedettyä kotiin päin, miten sitten kognitiivisten kykyjen testi, entä mahdolliset simulaatiot?

Kannattaako ma­ni­pu­laa­tio?

Kyselyiden manipulaatiosta voi ehkä saada marginaalisesti hyötyä, mutta se todennäköisesti myös nostaa riskiä epäonnistua henkilöarvioinnissa. Toisaalta näin käy vain jos henkilöarvioinnin suorittaa toinen ihminen. Jos kandidaatilla vain teetätetään kyselyt ja luotetaan systeemin tuottamiin automaattivastauksiin ilman arvioitsijan haastattelua, niin silloin huijaamisen onnistumisen todennäköisyys kasvaa.

Kuten videossa ChatGPT useasti kirjoittaa, ei huijaamisella palvella ketään. Jos joku onnistuu sellaisessa, hän ei välttämättä ole todellisuudessa kovin sopiva haettuun tehtävään. Siinä kärsii henkilö itse, kollegat sekä työnantaja.

Eli kaikkien kannattaisi tulla henkilöarviointiin sellaisena kuin ovat ja tehdä persoonallisuuskyselyt myös sen mukaan. On luonnollista, että ihmiset korostavat joitakin puolia itsestään ja piilottavat toisia (kaikilla meillä on tietty työpersoona ja haluamme näyttää paremman puolen itsestämme työhaastattelussa), mutta ei silti kannata sortua turhiin vippaskonsteihin.

Näitä tekoälyttömiä ajatuksia esitti

Muita blo­gi­kir­joi­tuk­siam­me