Kas pārskata tavas ChatGPT sarunas un sarakstes?
OpenAI modeļu uzlabošanai izmanto simtiem ārpakalpojumu darbinieku, kuri analizē reālas ChatGPT lietotāju sarunas. Viņi pārskata veselus dialogus, nevis tikai atsevišķus jautājumus. Par to ziņo digitālo mediju uzņēmums 404 Media, kas ieguvis uzņēmuma iekšējos materiālus, tostarp darbiniekiem paredzētās instrukcijas, Slack sarakstes, atbilžu vērtēšanas sistēmu un pašas lietotāju sarunas.
Darbinieku uzdevums bija izlasīt lietotāja pieprasījumu, īsi aprakstīt viņa nolūku un novērtēt ChatGPT ģenerētās atbildes. Dažās sarunās bija arī sensitīva personiskā informācija, un 404 Media norāda, ka lietotāji ne vienmēr varēja apzināties, ka viņu rakstīto var izlasīt cilvēks.
Project Lily: cilvēki vērtēja reālas ChatGPT sarunas
404 Media rīcībā nonākušie dokumenti saistīti ar OpenAI projektu ar koda nosaukumu Project Lily. Ārpakalpojumu darbinieki strādāja īpašā panelī, kur vispirms izvēlējās uzdevumu un pēc tam sistēma viņiem parādīja reālu ChatGPT lietotāja pieprasījumu.
Darbiniekam bija jāizlasa viss pieejamais dialogs, īsi jāapraksta lietotāja nolūks un pēc tam jānovērtē četri ChatGPT sagatavotie atbildes varianti. Pēc četru atbilžu izlasīšanas recenzentam bija jāatzīmē vismaz trīs konkrēti fragmenti, kas atbilda vai neatbilda apmācāmās modeļa prasībām, kā arī jāpamato sava izvēle.
Noslēgumā atbilde bija jānovērtē skalā no 1 līdz 7. Viens nozīmēja pilnībā nederīgu atbildi, bet septiņi, atbildi, kas jau ir ļoti tuvu ideālai. Arī saturiski noderīga atbilde varēja saņemt zemu vērtējumu, ja tā bija pārāk gara vai nevajadzīgi sarežģīta.
Dokumentos nav norādīts, kura tieši OpenAI modeļa apmācībai šie dati tika izmantoti. Tāpat nav zināms, vai runa ir par jau publiski pieejamu modeli vai kādu nākotnē gaidāmu versiju.
Viens no 404 Media uzrunātajiem recenzentiem atzina, ka, viņaprāt, lietotāji nemaz neiedomājas, ka viņu sarunas varētu analizēt kāds ārpakalpojumu darbinieks. “Neuzskatu, ka viņi iedomājas, ka kaut kur kāds darbinieks analizē šīs sarunas,” viņš sacīja izdevumam.
Tas atšķiras no cita veida sarunu pārbaudēm, par kurām OpenAI iepriekš ir publiski informējuši. Uzņēmums ir atklājis, ka cilvēki var pārskatīt sarunas, ja rodas aizdomas par nopietniem drošības riskiem, piemēram, gatavošanos uzbrukumam citām personām. Project Lily, pēc 404 Media teiktā, ir atsevišķs process, kura mērķis ir uzlabot modeļa atbilžu kvalitāti.
OpenAI vēlējās dabiskākas un mazāk “mākslīgas” atbildes
Recenzentu instrukcijās bija detalizēti aprakstīts, kādai vajadzētu būt labai ChatGPT atbildei. Modelim bija jāspēj uztvert lietotāja patieso nolūku, sniegt precīzu un noderīgu palīdzību, kā arī formulēt atbildi skaidri, dabiski un mēreni siltā tonī.
Citā dokumentā, kas bija atzīmēts kā konfidenciāls, bija norādīts, ka modelim jāpielāgojas lietotāja tonim, taču ne pārāk izteikti. Tam jāpaliek dabiskam, atturīgam un profesionālam, neradot iespaidu, ka tas ir cilvēks vai izjūt emocijas.
Recenzentiem bija jāatzīmē arī tā dēvētā iztapība, pārmērīga lietotāja stila atdarināšana, mākslīgi veidotas sarunas noslēguma frāzes, lietotāja aizkaitinājuma pastiprināšana un augstprātīgi pieņēmumi. Tas viss tika uzskatīts par faktoru, kas samazina atbildes dabiskumu un uzticamību. Tā vietā ChatGPT atbildei bija jābūt noderīgai, godīgai un atbalstošai, taču bez pārākuma demonstrēšanas.
Atsevišķi tika vērtēta arī tā dēvētā “MI valoda” un nevietā izmantoti emoji. Kontrolsaraksts ar ķeksīšiem instrukcijās bija atzīmēts kā neatbilstošs, jo tajā bija “nevajadzīga emoji izmantošana”.
Vienlaikus recenzentiem bija jāņem vērā konteksts. Koks sarunā par Pasaules koku dienu tika uzskatīts par atbilstošu emoji, savukārt galvaskauss sarunā par nāvi vai lidmašīnas simbols ziņās par aviokatastrofu, par nevietā izmantotu.
ChatGPT arī nevajadzēja izlikties par cilvēku un atsaukties uz personīgo pieredzi, piemēram, sakot “kā pavāram man patīk…” vai “es zinu, kā tas ir”. Tajā pašā laikā pirmās personas izmantošana tehniskās frāzēs, piemēram, “es apskatīšos”, bija pieļaujama.
Interesanti, ka faktu pārbaude nebija recenzentu galvenais uzdevums. FAQ dokumentā bija norādīts, ka viņiem nav jāmeklē apstiprinājums ārējos avotos, jo satura pārbaudi veic citas projektu komandas. Tomēr pamanītās faktiskās kļūdas recenzenti varēja atzīmēt, bet atbildēm par medicīnas, juridiskiem un finanšu jautājumiem vērtējums tika samazināts, ja tajās nebija nepieciešamo atsauču.
Lietotāju dati tomēr nonāca recenzentu redzeslokā
Lietotāju pieprasījumi recenzentiem tika parādīti anonimizētā veidā, un konta lietotāja vārds panelī nebija redzams. Tomēr tas nenozīmēja, ka darbinieki nevarēja saskarties ar personisku informāciju.
Dažkārt virs sarunas bija redzama sadaļa “user memories summary” jeb lietotāja atmiņas kopsavilkums. No tā varēja saprast, kādam nolūkam konkrētais cilvēks iepriekš izmantojis tērzēšanas robotu, kur viņš dzīvo un kāda cita informācija par viņa dzīvi ir zināma modelim.
Instrukcijas paredzēja, ka recenzentiem uzdevums jāeskalē, ja viņi pamana personas datus vai iespējamu drošības risku.
OpenAI 404 Media norādīja, ka sarunas pirms cilvēka pārbaudes tiek apstrādātas ar Privacy Filter modeļa versiju, kurai būtu jāatrod un jānoņem personiskā informācija. Tomēr pašas OpenAI dokumentācija atzīst šī filtra ierobežojumus. Tas var kļūdīties, nepamanīt dažus identifikatorus un neskaidras atsauces, kā arī pārāk daudz vai pārāk maz dzēst informāciju īsos fragmentos, kuros nav pietiekama konteksta.
404 Media žurnālistu apskatītās sarunas parādīja arī ko citu, daži lietotāji bija tieši rakstījuši ChatGPT, lai viņu teiktais paliktu starp viņiem.
Izdevums jautāja OpenAI vadībai, vai uzņēmums lietotājus tieši informē, ka viņu sarunas var tikt lasītas, lai uzlabotu modeļa atbildes, un kur tieši šāds paziņojums ir atrodams. Žurnālisti atbildi uz šo jautājumu nesaņēma.
OpenAI mājaslapā ir aprakstīta cilvēku veiktā atzīmēta satura pārskatīšana, taču tur galvenokārt runāts par pakalpojuma noteikumu pārkāpumiem un drošības apdraudējumiem. Privātuma politika savukārt pieļauj personas datu izmantošanu modeļu uzlabošanai.
Vēlāk OpenAI norādīja 404 Media uz palīdzības sadaļu, kurā teikts, ka cilvēki var pārskatīt saturu, lai uzlabotu modeļa darbību. Pēc žurnālistu jautājumiem uzņēmums arī atjaunināja šo palīdzības lapu un detalizētāk aprakstīja iespēju atteikties no šādas datu izmantošanas.
ChatGPT sarunu izmantošanu modeļu apmācībā kontrolē iestatījums “Improve the model for everyone”. Free, Plus un Pro plānos tas pēc noklusējuma ir ieslēgts, un lietotājam tas jāizslēdz pašam. Izslēgšana attiecas uz jaunām sarunām un neietekmē iepriekšējās. Enterprise, Business un Edu plānos šis iestatījums pēc noklusējuma ir izslēgts.
Par sarunu lasīšanu maksā vairāk nekā 50 dolārus stundā
Viens no 404 Media uzrunātajiem recenzentiem, kurš dzīvo Ziemeļamerikā, par ChatGPT lietotāju sarunu lasīšanu saņēma vairāk nekā 50 ASV dolārus stundā. Darbu viņš atrada ar personāla atlases uzņēmuma Crossing Hurdles starpniecību.
Uzņēmums sevi raksturo kā starpnieku starp speciālistiem un klientiem, kuri strādā ar mākslīgā intelekta apmācību. 404 Media publikācijas laikā Crossing Hurdles LinkedIn lapā bija atrodamas vakances MI datu recenzentiem, datu marķētājiem un tērzēšanas robotu vērtētājiem. OpenAI un ChatGPT sludinājumos tieši nebija minēti, taču darba pienākumos ietilpa MI atbilžu vērtēšana un salīdzināšana.
Starp citiem uzņēmuma projektiem bija arī video ierakstīšana, kuros cilvēki veic dažādus mājsaimniecības darbus. Šādi dati tiek izmantoti robotu apmācībai.
Recenzents savu darbu raksturoja kā diezgan mehānisku. Dažkārt lietotāju jautājumi esot amizanti, taču kopumā darbs esot vienveidīgs. Viņš arī norādīja uz haosu projektā, jo noteikumi bieži mainoties un dažkārt pat savstarpēji konfliktējot.
OpenAI nav vienīgais uzņēmums, kas izmanto cilvēkus modeļu uzlabošanai. Anthropic apstiprināja, ka arī viņi izmanto cilvēku veiktu sarunu pārbaudi, tostarp nākotnes Claude atbilžu uzlabošanai. Tas attiecas uz lietotājiem, kuri aktivizējuši iestatījumu “Help improve our AI models”. Pirms pārbaudes Anthropic sarunas anonimizē un dzēš konta identifikatorus, tostarp e-pasta adreses. Arī Google Gemini lietotājiem tiek norādīts, ka daļu saglabāto sarunu var pārskatīt cilvēki.
Šis stāsts ir labs atgādinājums, ka ChatGPT un citi MI rīki nav privāta dienasgrāmata, kurai var bez bažām uzticēt visu savu dzīvi. Ja sarunā tiek apspriesti personīgi jautājumi, nākotnes plāni, finanses, darbs, attiecības vai cita sensitīva informācija, vienmēr jāatceras, ka šie dati var nonākt ne tikai algoritmu, bet arī cilvēku redzeslokā. Ērtības un iespēja dažās minūtēs saņemt gudru padomu ir vērtīga, taču varbūt tomēr nevajadzētu visu savu dzīvi un nākotnes plānus nolikt MI rīku priekšā un cerēt, ka tie tur arī paliks.
Avots: 404media
