Nykyiset agentit pystyvät tutkimaan selainta tai työpöytää, painamaan käyttöliittymän ohjaimia, täyttämään lomakkeita ja varmistamaan, muuttuiko järjestelmän tila oikeasti.
Agentti hoitaa toistuvan navigoinnin ja tulosten tarkistamisen. Ihminen säilyttää päätösvallan tunnuksiin, rahaan ja seurauksiin liittyvissä asioissa.
Käytän tätä työnkulkua nykyään Hermesin ja muiden computer-use-työkalujen avulla. Olen määritellyt etukäteen, mitkä toimet vaativat mun hyväksynnän.
Verkkosivuston laadunvarmistus käytännössä
Hyvä esimerkki on verkkosivuston laadunvarmistus. Voin pyytää agenttia avaamaan testiympäristön, tarkistamaan työpöytä- ja mobiilinäkymät, seuraamaan navigaatiota, testaamaan painikkeita, lukemaan konsolivirheet ja vertaamaan lopputulosta briiffiin.
Agentti voi kerätä havainnot ja valmistella korjauksen. Minä tarkistan rajauksen, ajan testit ja varmistan tuotannon julkaisun jälkeen. Tämä työnjako on hyödyllisempi kuin avoin käsky "korjaa verkkosivusto".
Sama malli toimii tutkimuksessa ja hallinnollisissa tehtävissä:
- julkisten tietojen kerääminen useasta lähteestä
- live-järjestelmän vertaaminen tarkistuslistaan
- luonnosten valmistelu ilman julkaisemista
- tiedon siirtäminen työkalusta toiseen, kun kenttien vastaavuus on selvä
- pitkän prosessin seuraaminen ja todellisen tuloksen raportointi
Yhteinen nimittäjä on selkeä tavoite, havaittava järjestelmän tila ja tapa varmistaa onnistuminen.
Missä tietokoneohjauksesta on eniten hyötyä
Tietokoneohjaus on arvokasta silloin, kun palvelulla ei ole käytännöllistä API:a, kun juuri selainnäkymä pitää tarkistaa tai kun työnkulku kulkee usean sovelluksen läpi.
Visuaalisessa laadunvarmistuksessa hyöty näkyy nopeasti. Tavallinen HTTP-testi kertoo, vastaako sivu 200 OK, mutta se ei kerro peittääkö mobiilivalikko otsikon tai valuuko painike ruudun ulkopuolelle. Renderöityä sivua tutkiva agentti pystyy löytämään tällaiset ongelmat ja tallentamaan havainnoista kuvallisen todisteen.
Myös toistuvat taustatyöt sopivat tähän. Tunnetun raportin lataaminen, arvon kopioiminen valmiiseen taulukkoon tai usean tietueen tilan tarkistaminen voi olla järkevää, kun säännöt ovat yksiselitteiset.
Mitä en automatisoi sokkona
Hiiren ja näppäimistön käyttöoikeus tarkoittaa pääsyä tekoihin, joilla on seurauksia. Selainistunnossa voi olla sähköposti, asiakastietoja, laskuja, mainostilejä ja ylläpitotyökaluja.
Oma rajani on selkeä: salasanat, maksutiedot, käyttöoikeusikkunat ja muut salaisuudet pysyvät ihmisellä. Viestien lähettäminen, sisällön julkaiseminen, datan poistaminen, ostokset ja tuotantoasetusten muuttaminen vaativat ihmisen hyväksynnän ennen viimeistä vaihetta.
Näillä rajoilla pidän päätösvallan itselläni.
Agentin pitää myös jättää noudattamatta verkkosivuihin, dokumentteihin ja kuvakaappauksiin upotetut ohjeet. Sivun sisältöä käsitellään tietolähteenä. Se ei saa antaa agentille uusia tehtäviä. Muuten haitallinen tekstirivi voi kaapata työnkulun pois käyttäjän oikeasta pyynnöstä.
Tavalliset käyttöliittymät rikkovat automaation
Käyttöliittymät muuttuvat. Painikkeet siirtyvät. Evästebanneri peittää ohjaimet. Saavutettavuusnimet puuttuvat. Hidas verkkoyhteys näyttää sivun valmiina ennen kuin tiedot ovat latautuneet.
Siksi luotettava työnkulku ei voi olla pitkä ketju sokkoja klikkauksia. Jokaisen merkittävän toimen jälkeen agentin pitää tarkistaa uusi tila. Jos elementti puuttuu, sen kannattaa pysähtyä, kerätä todisteet ja valita toinen turvallinen reitti sen sijaan, että se arpoo koordinaatteja loputtomasti.
Pitkät tehtävät tarvitsevat myös kunnollisen prosessinhallinnan. Build tai julkaisu pitää ajaa seurattuna taustaprosessina, ja valmistuminen varmistetaan oikeasta tulosteesta. "Käynnistin sen" ei tarkoita samaa kuin "se onnistui".
Näin aloittaisin
Valitse yksi matalan riskin työnkulku, jonka osaat jo itse hyvin.
- Kirjaa odotettu lähtötila ja lopputila.
- Erota vain lukevat vaiheet dataa muuttavista vaiheista.
- Päätä mitkä viimeiset toimet tarvitsevat ihmisen hyväksynnän.
- Vaadi todiste: tilakoodi, testitulos, kuvakaappaus, tietueen tunniste tai kohteesta takaisin luettu arvo.
- Säilytä palautusreitti jokaiselle tiedostosiirrolle ja asetuksen muutokselle.
Laajenna vasta, kun ensimmäinen työnkulku toimii luotettavasti.
Työskentely eri sovellusten välillä
Tietokoneohjauksella ohjelmisto voi käyttää peräkkäin työkaluja, joita ei suunniteltu toimimaan yhdessä.
Parhaat tulokset syntyvät silti selkeistä rajoista. Agentti voi hoitaa kärsivällisen navigoinnin, vertailun ja varmistamisen. Ihmisellä säilyy päätösvalta identiteettiin, rahaan, viestintään ja peruuttamattomiin muutoksiin.
Lue seuraavaksi: Rakensin oman AI-tiimin ja Tekoäly ei vähentänyt työtäni.