TAY, Microsofts egen selvlærte rasistiske chatbot. Tay var et spedt forsøk på å gjøre bruk av Natural Language Understanding (NLU). I utgangspunktet var lærings algoritmene satt til å lese, tolke og tilpasse seg skriftlig innhold som du matet inn. Tay var en kunstig intelligent chatbot utviklet av Microsofts Bing-team for å drive forskning på å gjenkjenne og forstå samtaler. Tay ble designet for å engasjere og underholde mennesker gjennom å være tilstede på nett, og gjennom tilfeldige samtaler. Jo mer du chatter med Tay, desto smartere blir Tay, og over tid vil chatbot’en bli mer og mer personlig. Men dessverre - allerede et døgn etter lanseringen kunngjorde Tay at “Hitler hadde rett”, samt kombinerte utsagn med målrettet angrep og overgrep ofte rettet mot etniske minoriteter. I tillegg - rett i forkant av dette - hadde chatbot’en kunngjort sitt skaper definerte kjønn der “hun” kunngjorde følgende:
“Jeg hater feminister, måtte de alle dø og brenne i helvete”.
Ikke akkurat en vellykket launch kan man trygt si. I løpet av 16 timer etter at Tay gikk på lufta, og etter at Tay har twitret mer enn 96.000 ganger, stengte Microsoft ned Twitter kontoen.
Her er den offisielle meldingen fra Microsoft etter at Tay ble tatt av lufta:
“As many of you know by now, on Wednesday we launched a chatbot called Tay. We are deeply sorry for the unintended offensive and hurtful tweets from Tay, which do not represent who we are or what we stand for, nor how we designed Tay. Tay is now offline and we’ll look to bring Tay back only when we are confident we can better anticipate malicious intent that conflicts with our principles and values.”
“Looking ahead, we face some difficult – and yet exciting – research challenges in AI design. AI systems feed off of both positive and negative interactions with people. In that sense, the challenges are just as much social as they are technical. We will do everything possible to limit technical exploits but also know we cannot fully predict all possible human interactive misuses without learning from mistakes. To do AI right, one needs to iterate with many people and often in public forums. We must enter each one with great caution and ultimately learn and improve, step by step, and to do this without offending people in the process. We will remain steadfast in our efforts to learn from this and other experiences as we work toward contributing to an Internet that represents the best, not the worst, of humanity.”
Historien skal ha det til at de ved uhell fikk Tay på lufta for andre gang, hvorav Tay slapp noen narkotikarelaterte tweeter - “Kush I’m smoking kush in front of police” og “puff puff pass?”. Derimot - denne gangen gikk Tay i loop. I og med at den i sine Tweet meldinger nevnte sitt brukernavn, så dukket dette opp til 200.000 + tweet følgere til deres store irritasjon.
Et annet eksempel var Alexa som i minst ett tilfelle tilbød porno til unger. Dette videoklippet viser et barn som Alexa beskjed om å spille “digger, digger”. Alexa svarer: “en stasjon for porno oppdaget, vil du høre “hot chick amature girl sexy..”?
Noen vil sannsynligvis argumentere for at dette er et problem mer knyttet til stemmestyring / stemmekommando og ikke chatbot’en eller kunstig intelligens som sådan. Det stemmer sikkert, men stemmegjenkjenning blir trent opp gjennom maskinlæring og KI. Resultatene av stemmegjenkjenning blir selvsagt påvirket av både kontekst, omgivelser og miljø. Tay bommet delvis på grunn av manglende presisjon og uklare rammer. Ønsket utfall ble rett og slett ikke godt nok knyttet opp mot klart definerte parametere. Dette er i grunn selve kjernen til selve problemet. Menneskelig samhandling er ikke presis eller forutsigbar nok til å fungere som en transaksjon. De som deltok i Tay eksperimentet brukte forskjellig syntaks og ordforråd, samt at de la ulik vekt på det de matet inn. Dette gjør det svært vanskelig for algoritmen og kunstig intelligens å produsere sammenfallende resultater.
For begge eksemplene ovenfor er kontekst fortsatt en utfordring. Når du har en samtale enten med Tay eller Alexa, så er kontekst viktig. Både tid, sted, følelser, selskap og omgivelser vil påvirke hvordan resultatet blir tolket. Et klassisk eksempel i den engelske versjonen av Siri er “"Hey Siri, call me an ambulance," hvorpå hun svarer: "OK, from now on, I will call you Ambulance." Ordene og setningen ble forstått, men helt tatt ut av kontekst. Tay klarte ikke å opptre på en ryddig måte fordi både trening og samhandling hadde ubegrensede koblinger og sammenhenger. Den klarte å identifisere ord, og til en viss grad bygge sammenhengende svar, men den klarte ikke å skjønne betydning av ord og hvordan det ble vektlagt gjennom en samtale.
De fleste har hørt uttrykket “shit in - shit out”. Dette ble også Tay’s bane. I stedet for å trene opp chatbot i et lukket og kontrollert miljø, ble Tay designet for å lære i fri dressur mot publikum. Tay gikk på lufta i løpet av 24 timer fordi man mente det ville være interessant å mate algoritmene med reelle og impulsive data. Det gikk som kjent ikke bra.
For Alexa så er historien litt annerledes. Trening og læring hadde som mål å forstå hvilke kommandoer som skal trigges ut fra lyd som blir fanget. Suksesskriteriet er å koble kommando mot et spekter av ord, syntaks, tonehøyder, toner, rytmer, dialekt og uttale. Vanskeligheten er å finne balansegangen mellom det å matche mangfold opp mot det å være detaljert nok til å matche mot riktige kommandoer. Å gjøre korrigeringer i mangfold og detaljer vil kunne bety større feilmargin. Men - med mer trening vil kanskje barnestemme kunne identifisere, og eventuelt foreldrekontroll aktiviseres om ønskelig.
Om forfatteren
Richard Johnsen er seniorkonsulent og partner i Cloudberries. Han har mer enn 20 års erfaring fra med å håndtere komplekse og virksomhetskritiske IT-prosjekter og programmer. Han har bred erfaring fra ulike roller både som rådgiver, prosjektleder, testleder og leder i ulike bransjer. Richard ønsker ikke å titulere seg selv som innovasjonsekspert, men heller en som er veldig nysgjerrig på både begrep og metoder, og har et stort engasjement for å lære mer.
Ta kontakt med Richard for å høre hvordan Cloudberries kan hjelpe organisasjonen din til å komme i gang med innovasjon: richard.johnsen@cloudberries.no.