Käytän tekoälyä töissä päivittäin. Ja olen huomannut, että se keksii asioita ollakseen avulias. Se väittää tietävänsä, vaikka se vain arvaa.
Tätä kutsutaan hallusinaatioksi. Tekoäly voi tuottaa vakuuttavalta ja perustellulta kuulostavaa, kieliopillisesti virheetöntä tekstiä, jonka tiedot ovat vääriä. Malli ennustaa seuraavaa sanaa, eikä virheellinen vastaus tarkoita tietoista valehtelua.
Miksi tämä tapahtuu?
Tekoäly ei ajattele kuin ihminen. Malli ennustaa seuraavaa sanaa aiemman tekstin perusteella. Se on lukenut miljardeja sivuja tekstiä internetistä, kirjoista ja dokumenteista, ja oppinut mitkä sanat tyypillisesti seuraavat toisiaan.
Kun kysyt siltä jotain, se ei "tarkista faktatietokantaa" vastauksen varalta. Se ei avaa Wikipediaa. Se katsoo omia parametrejaan ja arvaa todennäköisimmän jatkon.
Tämä toimii hyvin, kun aihe on yleinen ja dataa on paljon. Mutta kun kysyt jostain niche-aiheesta, harvinaisesta nimestä tai tarkasta tilastoluvusta, mallin täytyy arvata. Ja koska se on koulutettu olemaan avulias, se mieluummin keksii vastauksen kuin sanoo "en tiedä."
Miten tunnistaa hallusinaatio
Tekoälyn hallusinaatio on vaarallista juuri siksi, että se näyttää oikealta vastaukselta. Se voi tarjota yksityiskohtaisen ja hyvin jäsennellyn selityksen silloinkin, kun tiedot ovat vääriä. Olen huomannut, että hallusinaatio tulee usein ilmi vasta kun:
- Pyydän lähdeviittauksia. Tekoäly saattaa keksiä tutkimuspapereita, jotka kuulostavat uskottavilta mutta eivät ole olemassa.
- Kysyn saman kysymyksen uudelleen eri tavalla. Jos vastaus muuttuu merkittävästi, se ei ole varma aiheesta.
- Pyydän liian tarkkaa tai niche-tietoa. Tekoäly on yleensä hyvä yleistiedossa mutta heikko harvinaisissa yksityiskohdissa.
Miten vähentää hallusinaatiota käytännössä
Olen oppinut muutaman konkreettisen keinon, jotka toimivat:
Anna lupa sanoa "en tiedä." Jos sanot kehotteessasi "Jos et ole varma, sano ettet tiedä," tekoäly tekee niin yllättävän usein. Se poistaa paineen keksiä vastaus.
Pyydä suoria lainauksia. Työskennellessäsi pitkien dokumenttien kanssa, pyydä ensin tarkkoja lainauksia, ja vasta sitten analyysiä niiden pohjalta. Tämä pakottaa tekoälyn pysymään annetussa materiaalissa.
Käytä chain-of-thought -varmennusta. Pyydä tekoälyä selittämään päättelynsä askel askeleelta ennen lopullista vastausta. Jos logiikassa on aukko, se on helpompi huomata.
Kysy monta kertaa. Aja sama kysymys 2-3 kertaa ja vertaa vastauksia. Jos ne ovat ristiriidassa, malli on epävarma.
Tarkista lähdeviittaukset. Tämä on työlästä mutta tärkeää. Jos tekoäly viittaa tutkimukseen tai artikkeliin, tarkista onko se oikeasti olemassa.
Voiko hallusinaation poistaa kokonaan?
Hallusinaatiot ovat edelleen kielimallien ongelma.
Hallusinaatio on sisäänrakennettu ominaisuus siihen, miten nämä mallit toimivat. Sama mekanismi, joka tuottaa luovuutta ja kykyä muodostaa uusia yhdistelmiä, tuottaa myös virheellistä tietoa.
Tutkimus etenee, mutta täydelliseen virheettömyyteen ei kannata luottaa. Käytä tarkistuskeinoja ja varmista kriittiset tiedot muualta.