Niko Kaistakorpi "Contribute. Engage. Participate. Cynicism and apathy are poisons for the spirit." Edward Norton

Algoritmit meitä arvioimassa ja tekemässä tärkeitä päätöksiä

  • Kirja matematiikan vaikutuksista vuodelta 2016, Cathy O'Neil
    Kirja matematiikan vaikutuksista vuodelta 2016, Cathy O'Neil

Weapons of Math Destruction - näin räyhäkkä nimi on Cathy O'Neilin suositulla kirjalla, joka kuvaa kuinka algoritmeja käytetään ja mitä vaaroja siihen sisältyy. Älkää ymmärtäkö minua väärin, kuten kirjan kirjoittajakin pidän matematiikasta ja suosikkikurssejani Otaniemessä olivat tietorakenteet ja algoritmit. Ne ovat digitalisaatiokehityksen ytimessä ja auttavat toteuttamaan tavoitteemme. Vaikka tässä tuonkin esille niiden vaaroja, niin tarkoitukseni on herättää keskustelua siitä, millä tavoin pitäisi ottaa huomioon esimerkiksi etiikka ja moraali niiden tekemisessä sekä käytössä. Tätä keskustelua käydään Suomessa aivan liian vähän.

USA:ssa ihmisten arviointi ja päätöksenteko automatisoidusti on viety paljon Eurooppaa pidemmälle ja lainsäädäntö rajaa käyttöä huomattavasti vähemmän kuin täällä. EU:n uuden tietosuoja-asetuksen yhteydessä keskustelua on käyty jonkin verran, mutta sitä on käyty lähinnä asiantuntijapiireissä. Aika näyttää mihin suuntaan Eurooppa ja Suomi ovat näissä menossa. Massiivista liiketoimintaa edustavat lobbarit vaikuttavat vahvasti, jotta suunta lähenisi USA:ta ja uhkakuvana käytetään muunmuassa Euroopan jäämistä jälkeen tekoälyn kehittämisessä.

USA:ssa viime aikoina kohua ovat herättäneet erilaiset automaattiset arvioinnit opettajien suoriutumisesta, rekrytointijärjestelmät sekä rikollisten tuomioiden arviointiin käytetyt järjestelmät.

Kymmenen vuotta käytössä ollut automatisoitu opettajien arviointi VAM

USA:ssa on noin 10 vuotta ollut käytössä Value-Added Model (VAM), joka on arvioinut matemaatisilla malleilla opettajien suoriutumista. Sarja algorimeja on arvioinut paljonko arvoa opettaja tuottaa koululuokalle ja tulosten perusteella on päätetty palkankorotuksista ja annettu jopa potkuja.

2011 Cathy O'Neilin rehtorina toiminut ystävä ihmetteli mallia ja O'Neil tarjoutui selittämään sen mikäli rehtori saisi tarvittavat tiedot tästä tietokoneohjelmasta ja sen algoritmeista. Rehtorin pyytäessä tietoja hänelle vastattiin perinteiseen tapaan: malli on niin vaikea, että et sitä ymmärrä. Tässä vaiheessa hälytyskellot alkoivat soida.

Toukokuussa 2016 opettaja Sheri Lederman voitti oikeudenkäynnin New Yorkin osavaltiota vastaan VAM-ohjelmiston käyttöön liittyen. Tuomiossa kerrottiin järjestelmän olevan umpimähkäinen, mielivaltainen ja arvaamaton.

Järjestelmä oli käytännössä musta laatikko proprietary-koodilla eivätkä sen paremmin koulujen johto kuin opettajatkaan tienneet miten se päätyi arviointeihinsa. Selvityksissä kävi ilmi, että opettajat olivat saattaneet tulla mm arvioiduiksi kursseista, joita he eivät edes opettaneet.

Kymmenisen vuotta siis luotettiin hienoon matemaattiseen malliin, josta kukaan ei tiennyt kuinka se edes toimii. On myös erikoista, että opettajat eivät tienneet miten pitäisi toimia saadakseen hyviä tuloksia, kun he eivät edes tienneet millä perusteilla heitä oikein mitataan?

Rekrytoinnin automatisointi koneoppimisella

Kasvava trendi USA:ssa erityisesti suurilla yrityksillä on pyrkiä erilaisilla ohjelmistoilla automatisoimaan rekrytointiprosessia. Järjestelmillä pyritään etsimään parhaat työntekijät, joiden ennustetaan menestyvän ja tuottavan yritykselle parhaiten.

Perusperiaate monissa ohjelmistoissa on seuraava:

Ensin laitetaan ohjelmisto analysoimaan yrityksen nykyisten työntekijöiden tietoja ja löytämään historiadatasta millaiset työntekijät ovat pärjänneet hyvin. Yksi kriteeri voi olla vaikkapa yleneminen neljän vuoden sisällä. Kun ohjelmisto löytää algoritmeillaan selittäviä tekijöitä menestykselle, niin niitä samoja ominaisuuksia etsitään työnhakijoista.

Prosessi ei ole onneksi aivan loppuun asti automatisoitu, mutta saattaa automatisoidusti tarjota vaikkapa kolme kandidaattia. Nämä sitten pääsevät haastatteluun ja valinta tehdään käytännössä heidän välillään.

Mikä tässä sitten on ongelma? Käytännössä koneoppimisella kopioidaan yrityksen yrityskulttuuri ja rekrytointipolitiikka, joka on vuosien varrella saattanut perustua osin vaikkapa sukupuolen tai rodun vuoksi tehtyyn syrjintään. Tämä sama toimintamalli jatkuu nyt automatisoidusti.

Lähtokohtaisesti nämä ohjelmistot eivät ota kantaa eettisiin tai moraalisiin näkökulmiin vaan ne täytyy joko sinne lisätä tai sitten ottaa erikseen muuten huomioon.

USA:ssa on myös vastakkainen trendi eli jotkut yritykset ovat tehneet ohjelmistoja, jotka arvioinneissaan poistavat mahdolliset syrjintään johtavat tekijät kuten sukupuolen, rodun ja iän. Esimerkiksi sukupuolen vaikutuksesta on mielenkiintoisia havaintoja orkesterimuusikoiden osalta: kun siirryttiin soittonäytteiden antamiseen verhon takaa, kasvoi naisten osuus viisinkertaiseksi aiempaan nähden.

Tuomioiden pituuden määrittely automatisoidulla riskiarvioinnilla

USA:ssa on käytetty ohjelmistoja myös arvioimaan rikostuomion yhteydessä annettavan tuomion sopivaa pituutta perustuen automatisoituun riskiarvioon tuomitusta ja hänen todennäköisyydestään syyllistyä uudelleen rikokseen.

Tässä erityisesti esimerkiksi rodun tai asuinalueen myötä saatetaan tehdä johtopäätöksiä, jotka perustuvat menneisiin tehtyihin ratkaisuihin, jotka ovat saattaneet olla hyvinkin puolueellisia ja ennakkoluuloisia. Huonosti suunniteltu järjestelmä oppii nämä samat asiat tehden ne automatisoidusti.

Eräässä seminaaripuheessa oli yksi esimerkki, jossa polkupyörän hölmöyksissään päähänpistona kiireessä pihalta varastanut 18-vuotias tummaihoinen opeiskelijatyttö sai yhdestä kymmeneen -asteikolla järjestelmältä arvion kahdeksan vaarallisuudestaan. Valkoihoinen mies, jolla oli jo tilillään pahoinpitely ja ryöstö aiemmin, sai kioskiryöstön jälkeen vaarallisuusarvioksi vain kolme. Nämä arviot vaikuttavat annetun tuomion pituuteen arvioitaessa rikoksen uusimisen todennäköisyyttä.

Matematiikka ja teknologia nähdään puolueettomana

Matematiikka ja algorimien avulla tehty mallintaminen ovatkin itsessään menetelminä puolueettomia, mutta näitä malleja tekevät ihmiset ja ne pohjautuvat heidän käsityksiinsä. Tällöin niitä voidaan käyttää myös subjektiivisesti ja ne voivat vaikkapa sisältää tekijän omia ennakkoluuloja - ja niissä voi yksinkertaisesti vain olla virheitä.

Suuri ongelma on myös, että pääosa näiden ohjelmistojen ja järjestelmien toimintatavoista jää liikesalaisuudeksi. Tällöin käytännössä myydään mustia laatikoita, joista emme tiedä miten ne toimivat ja kuinka ne päätyvät arviointeihinsa. Jos olisin itse arvioinnin kohteena, en pitäisi tällaisesta ollenkaan mikäli se vaikuttaisi vaikkapa palkkaan tai mahdollisuuteen saada työpaikka.

Lainsäädäntö on pitkällä takamatkalla näissä asioissa ja teknologia porskuttaa kaukana edellä osin hallitsemattomasti. Hyvä esimerkki tarvittavasta pohdinnasta liittyy vaikkapa robottiautoihin ja niiden automaattiseen päätöksentekoon. Esimerkiksi Mercedes-Benzin ratkaisusta kerrottiin joku aika sitten seuraavaa:

"Nyt Mercedes-Benzin turva- ja avustinjärjestelmien johtaja Christoph von Hugo on kertonut Car & Driverin haastattelussa, että saksalaisvalmistajan tulevaisuuden kehittyneet autonomiset (autonomiatasot 4 ja 5) ajoneuvot valitsevat aina matkustajien turvallisuuden.
– Jos tiedät, että voit pelastaa ainakin yhden henkilön, niin pelasta hänet. Pelasta auton matkustaja, Hugo kiteyttää yhtiön valitseman kannan.
"

Tämä on todella vaikea eettinen ja moraalinen haaste, johon ei ole helppo löytää ratkaisua - absoluuttisesti oikeaa ei edes ole olemassa. Tehdessään näin auto saattaa vaikkapa aiheuttaa jalankulkijana olevan lapsen kuoleman pelastaessaan kiiltävässä mersussa olevan kuljettajan - oikein vai väärin, ken sen tietää?

Nämä ovat sellaisia päätöksiä, ettei niitä voi jättää pelkästään valmistajien päätettäväksi. Toisaalta ne ovat niin vaikeita päätettäviä, että epäilen ihan oikeasti onko esimerkiksi eduskunnan kansanedustajilla kykyä ja ymmärrystä näistä riittävästi. Ei tämä osa-alue silti voi jäädä vain villiksi länneksi, jossa kukin valmistaja päättää kuten haluaa.

Paljon on tehtävää ja hyvä alku olisi velvoittaa yritykset riittävällä tasolla julkistamaan automaattisen arvioinnin ja päätöksenteon perusteet niiden kohteina oleville ihmisille.

 

PS. Tämä oli nyt kolmas osa sarjaan teknologioista ja algoritmeista vaikuttamassa elämäämme. Jatkoa seurannee jossain muodossa. Aiemmat osat:

Algoritmit ja profilointi määrittävät mitä sinulle näytetään ja suositellaan

Google ja Facebook tuntevat sinut paremmin kuin kukaan muu

Piditkö tästä kirjoituksesta? Näytä se!

3Suosittele

3 käyttäjää suosittelee tätä kirjoitusta. - Näytä suosittelijat

NäytäPiilota kommentit (2 kommenttia)

Käyttäjän kosonenjuhapekka kuva
Juha-Pekka Kosonen

Algoritmien toinen ääripää.

Vuonna 2018 äänestetään edelleen piirtämällä numero lyijykynällä paperilappuseen.

Käyttäjän NikoKaistakorpi kuva
Niko Kaistakorpi

Toimituksen poiminnat

Tämän blogin suosituimmat kirjoitukset