Analiză: Experimentul de verificare a faptelor realizat de Twitter dezvăluie probleme

O analiză Poynter a constatat că mai puțin de jumătate dintre utilizatorii Birdwatch includ surse și multe note de verificare conțin retorică partizană.

O versiune din 14 februarie a algoritmului Birdwatch de la Twitter a amplificat unele note cu informații înșelătoare.

Pe 5 februarie, Twitter a semnalat o postare a controversatului YouTuber Tim Pool care spunea că alegerile prezidențiale din SUA din 2020 au fost fraudate. Platforma a remarcat că revendicarea a fost contestată și a oprit implicarea „din cauza unui risc de violență”.

Dar, pe Observarea păsărilor , platforma social media experiment în crowdsourced verificarea faptelor , utilizatorii au spus în mod covârșitor că tweet-ul nu induce în eroare, potrivit unei analize din 14 februarie a datelor Twitter. Și majoritatea utilizatorilor Birdwatch au indicat în instrument că au găsit aceste note care susțin afirmațiile respinse utile și informative.

„Conform sursei oficiante (sic) TIME, a existat un grup bine organizat de participanți secreti într-o organizație din umbră care sună ca o cabală care a lucrat împreună pentru a influența alegerile în favoarea lui Joe Biden”, se arată într-o notă. În timp ce utilizatorul include un link către un articol din revista Time care folosește într-adevăr cuvinte precum „cabală” și „conspirație”, contextul piesei – că grupuri puternice lucrau în culise pentru a proteja integritatea alegerilor – este pierdut.

The Algoritmul Birdwatch , care își propune să scoată la iveală note utile, a atribuit acelei „verificari de fapt” un scor de utilitate de 0,68 — cel mai mare dintre notele de pe tweet, chiar în afara primelor 10% dintre note considerate de algoritm „evaluate ca fiind utile” începând cu data de 14 februarie. Notele evaluate utile au constituit aproximativ 7% din cele 2.695 din această analiză și mai puțin de două treimi dintre acestea conțin un link sursă care nu este un alt tweet.

Pe 17 februarie, Twitter și-a modificat algoritmul și notele despre tweet-ul Pool nu mai sunt evaluate ca fiind utile, deși ele sunt încă enumerate sub postare . Înainte de această schimbare, exista un prag mai scăzut care trebuia considerat util – doar 0,5 în comparație cu noul limită de 0,84 – și notele aveau nevoie de doar trei evaluări pentru a fi în curs de a fi considerate utile, prioritizate în ordine și marcate cu o notă albastră.

Acum, o notă trebuie să acumuleze cinci evaluări pentru a împinge acel tweet în noua filă „evaluat util” în Birdwatch . Și dintre cele aproape 2.700 de note din baza de date a platformei, 126 au atins noul prag - adică mai puțin de 5%. Trei sferturi din noile note „evaluate utile” conțineau o sursă din afara Twitter.

Este o ilustrare oportună a uneia dintre problemele cu care se confruntă modelul Birdwatch: poate un algoritm alimentat de un grup de oameni aparent aleatoriu să „evalueze” cu exactitate adevărul?

Birdwatch, în faza sa pilot, cu puțin mai mult de 1.000 de utilizatori, permite participanților să semnaleze tweet-urile ca fiind înșelătoare și să adauge o notă care citează o sursă și/sau explică contextul motivului pentru care aceasta poate induce în eroare. Apoi, utilizatorii Birdwatch pot clasa aceste note în funcție de utilitate (după aceea, algoritmul preia controlul).

În cele din urmă, toți utilizatorii de Twitter vor putea vedea aceste note chiar sub tweet-uri, dar deocamdată sunt limitați la o anumită secțiune a site-ului . Utilizatorii Birdwatch vor construi, în cele din urmă, un scor de reputație care va alimenta algoritmul de utilitate.

„Obiectivul nostru cu Birdwatch pilot este să construim un sistem în care oricine poate contribui și care în mod natural ridică informațiile pe care oamenii le consideră utile”, a declarat vicepreședintele Twitter pentru produs Keith Coleman într-un e-mail. „Credem că deschiderea în ceea ce privește cine poate contribui este importantă și că prin contribuția unui grup divers, cele mai utile note pot fi crescute.”

Dar, o privire asupra sistemului așa cum este acum dezvăluie provocările pe care verificatorii de fapte le-au ridicat despre Birdwatch: o lipsă de expertiză în verificarea faptelor în rândul utilizatorilor, dificultatea creării unui algoritm care va scoate la suprafață notele utile celor mai reputați utilizatori și întrebări despre motivațiile partizane ale utilizatorilor.

„Nu sunt surprins de aceste constatări, având în vedere natura polarizată a platformelor de social media și ezitarea utilizatorilor de a oferi feedback la astfel de întrebări oferite de platforme, în timp ce utilizatorii motivați de ambele părți ale culoarului văd platformele drept câmpuri de luptă pentru a-și promova narațiunile. alții”, a spus Baybars Örsek, directorul Rețelei internaționale de verificare a faptelor.

Majoritatea notițelor celor mai prolifici utilizatori Birdwatch marchează tweet-urile critice la adresa dreptei drept „înșelătoare” și pe cele critice la adresa stângii ca „nu induc în eroare”. (De exemplu, utilizatorul a marcat un tweet care spune „ Echipa Biden este blândă cu China ” de la senatorul Ted Cruz și de la Pool tweet ca „nu induce în eroare”; in timp ce un articol Newsweek despre extremiștii de extremă dreapta și saga GameStop și un tweet legarea președintelui Donald Trump de revolta de la Capitol au fost marcate ca „înșelătoare” și „dăunătoare”. Și mai puțin de o cincime din cele 82 de note ale utilizatorului includ o sursă, dintre care câteva sunt alte tweet-uri. (Acest utilizator Birdwatch nu a răspuns la o solicitare pentru un interviu.)

Coleman a spus că Birdwatch poate fi încurajat să ia în considerare notele care provin de la un „set divers de colaboratori”. În plus, sistemul de rating este principalul motor din spatele platformei

„Credem că acestea vor recompensa și stimula contribuțiile pe care mulți oameni le consideră valoroase și vor aborda riscul ca un anumit grup sau ideologie să preia controlul Birdwatch”, a spus Coleman. „Acesta este ceva la care vom lucra activ pe parcursul pilotului.”

Și într-adevăr, notele pe care algoritmul le-a clasat ca fiind cele mai utile după modificările din 17 februarie arată o sursă mai solidă și o retorică mai puțin partizană decât iterația cu o zi mai devreme. Dar, schimbarea unui algoritm pentru un program pilot cu 1.000 de utilizatori și mai puțin de 2.700 de note este un lucru, modificarea unui algoritm odată ce Birdwatch este disponibil pentru toți utilizatorii este alta - și cine știe dacă eficacitatea algoritmului va rezista pe măsură ce utilizatorii încep să toarne. în platformă, replicând probabil comportamentul unora dintre cei mai prolifici participanți la pilot.

„În prezent nu avem o cronologie specifică pentru scalare, deoarece ne străduim să învățăm cât mai mult posibil și să repetăm ​​cât timp pilotul este mic”, a spus Coleman. „Plănuim să ne extindem pe măsură ce putem face acest lucru în siguranță și când poate ajuta la îmbunătățirea învățării.”

Totuși, ca și în cazul notelor de sub tweet-ul Pool, există exemple de partizan sau informații înșelătoare încă vizibile ca note obișnuite.

Patru dintre cei mai activi cinci utilizatori, care reprezintă mai mult de 10% din totalul notelor, au activitate similară cu cel mai prolific utilizator. Unul dintre ei susține că moartea lui Jeffrey Epstein nu a fost niciodată considerată o sinucidere. Cu toate acestea, al doilea cel mai prolific Birdwatcher citează o sursă în fiecare notă, inclusiv link-uri de la Organizația Mondială a Sănătății și FactCheck.org .

Niciunul dintre primii 10 utilizatori, conform bios-ului lor Twitter, nu este verificatori de fapte profesioniști sau jurnaliști.

„Verificarea faptelor este de fapt o muncă grea, deoarece este solicitantă din punct de vedere mental”, a spus redactorul șef PolitiFact, Angie Holan, într-un e-mail. „Trebuie să te concentrezi și să treci prin inerția mentală pentru a identifica afirmațiile și apoi să faci brainstorming asupra mijloacelor de dezmințire sau verificare. Apoi trebuie să continuați cu căutarea și apoi să scrieți rezultatele. Nu este o zi la plajă, ca să spun clar. Și dacă un verificator de fapte are o motivație partizană, acest lucru face un efort amănunțit și echitabil și mai dificil.”

În ciuda problemelor sale, Birdwatch semnalează dezinformarea. verificatorii tradiționali de fapte ar putea să rateze sau să aleagă să nu verifice din cauza potențialului de vătămare – ceea ce ar putea ajuta la completarea unor lacune în dezinformarea digitală. In timpul saga joc stop , informația greșită despre acțiunile acelei companii s-a răspândit rapid pe platforme.

Snopes și PolitiFact nu a evaluat pretenții cu privire la GameStop, în timp ce Povești potențial evaluate o postare Reddit. Dar pe Birdwatch, nota cu cea mai mare cotă – a obținut un scor de utilitate de 1,00 – a semnalat un tweet înșelător despre Reddit, unde avea loc o conversație despre acțiuni. Au existat aproximativ 50 de note despre Reddit, GameStop și aplicația de investiții Robinhood, pentru care a avut loc un volum mare de tranzacții la începutul acestei luni.

Și utilizatorii Birdwatch au semnalat corect un cont care pretindea că aparține senatorului Virginia Amanda Chase ca fiind fals, după ce a postat pe Twitter , „... Avem o problemă cu drogurile în Virginia, iar legalizarea marijuanei va duce doar la mai multe supradoze de marijuana și decese...”

Crowdsourcing-ul poate face viața mai ușoară a verificatorilor de fapte profesioniști prin detectarea dezinformării, a spus Örsek.

Coleman a spus că Twitter se angajează să mențină transparența – ceea ce a făcut posibilă această analiză – și să includă contribuții de la experți cu privire la viitorul platformei.

„Din lucrul cu un membru al echipei încorporat de la Centrul pentru RISC al Universității din Chicago , pentru a găzdui sesiuni de feedback cu reporteri și cercetători, lucrăm pentru a profita de cantitatea mare de expertiză și cunoștințe care există dincolo de Twitter”, a spus el.

Holan și Örsek recomandă stimulente și instruire pentru utilizatorii Birdwatch, precum și folosirea unor verificatori profesioniști de fapte pentru a verifica notele de rang înalt.

„Dar sunt destul de îndoielnic cu privire la companiile de tehnologie care cred că utilizatorii lor vor modera conținutul gratuit pentru ei”, a spus Holan. „Majoritatea utilizatorilor nu văd ca treaba lor să ajute platformele să-și conducă propriile afaceri.”