Iată cât de aproape este verificarea automată a faptelor de realitate

O nouă fișă informativă de la Institutul Reuters face bilanțul verificării automate a faptelor din întreaga lume – iar viitorul pare strălucitor.

Lansat astăzi , raportul se bazează pe interviuri cu verificatori de fapte și oameni de știință în informatică, precum și pe o prezentare generală a tehnologiei existente, pentru a detalia modul în care verificarea automată a faptelor ar putea schimba practica în viitorul imediat.

„În ultimul an, jurnaliştii, factorii de decizie politică şi companiile tehnologice au o atenţie sporită asupra problemei găsirii unor răspunsuri eficiente, la scară largă, la dezinformarea online”, scrie Lucas Graves, cercetător principal, în raport. „Cu toate acestea, a decide adevărul afirmațiilor publice și a separa opiniile legitime de dezinformarea este o muncă dificilă și adesea controversată... provocări care se transferă în (verificare automată a faptelor).”

Printre aceste provocări, Graves observă că verificarea complet automatizată a faptelor nu este nici măcar capabilă de judecata pe care jurnaliştii o aplică de zi cu zi. În plus, sprijinul din partea fundațiilor, universităților și platformelor este esențial în dezvoltarea unor capacități mai bune și a sistemelor la scară largă.

Dar potențialul de automatizare este mare - și se întâmplă deja în unele redacții.

Documentul scurt oferă o clasificare a celor mai recente evoluții în tehnologia și cercetarea automată de verificare a faptelor:

Inițiativele și cercetarea (verificare automată a faptelor) se concentrează, în general, pe unul sau mai multe dintre cele trei obiective care se suprapun: identificarea afirmațiilor false sau discutabile care circulă online și în alte mass-media; pentru a verifica cu autoritate afirmațiile sau poveștile care sunt în dubiu sau pentru a facilita verificarea acestora de către jurnaliști și membri ai publicului; și să furnizeze corecții instantaneu, în diferite medii, publicului expus la dezinformări. Sistemele end-to-end urmăresc să abordeze toate cele trei elemente - identificare, verificare și corectare.

Organizația de caritate britanică de verificare a faptelor Full Fact a dezvoltat un instrument care scanează automat transcrierile mass-media și ale Parlamentului pentru a găsi afirmații și le potrivește cu verificările existente. Laboratorul Duke Reporters și Chequeado au construit ambele instrumente similare care scanează transcrierile media pentru afirmații verificabile, notificând ulterior verificatorii de fapte cu privire la potențialele verificări ale faptelor. (Dezvăluire: Laboratorul Reporterilor ajută la plata Summit-ului Global pentru Verificarea faptelor).

Primele două organizații sunt prezentate în al treilea videoclip „Check It” al Rețelei Internaționale de Verificare a faptelor:

Metodologia respectivă – răzuirea și găsirea automată a afirmațiilor în transcrieri, apoi potrivirea lor cu bibliotecile de verificări ale faptelor existente, cum ar fi Împărtășiți faptele — este cel mai eficient și un produs al cercetării de succes, potrivit Graves. Dar tehnologia încă nu este perfectă.

Cu toate acestea, până acum aceste sisteme pot identifica doar declarații declarative simple, lipsesc afirmații implicite sau revendicări încorporate în propoziții complexe pe care oamenii le recunosc cu ușurință. Aceasta este o provocare deosebită cu sursele conversaționale, cum ar fi programele de discuții, în care oamenii folosesc adesea pronume și se referă la punctele anterioare.

De asemenea, are potențialul de a interpreta greșit parafrazarea și schimbările subtile ale formulării, momentului și contextului. În plus, verificarea rămâne în afara sferei de aplicare a instrumentelor automate de verificare a faptelor existente astăzi și se bazează în continuare pe oameni pentru a verifica potențialele verificări ale faptelor, așa că așteptările ar trebui menținute modeste, potrivit raportului.

În continuare, o provocare continuă pentru automatizare este găsirea unor modalități de a potrivi afirmațiile cu sursele oficiale de informații, ceea ce este, în esență, ceea ce fac manual verificatorii de fapte. Graves a scris că cercetătorii în inteligența artificială ar putea analiza modul în care sistemele automate de verificare a faptelor ar putea identifica sursele de date adecvate pentru orice afirmație dată.

Dar asta pune alte probleme. Datele nu sunt întotdeauna disponibile și, chiar și atunci când sunt, este dificil să discerneți corect ce înseamnă datele pentru veridicitatea unei afirmații, așa cum arată un studiu evidențiat:

… o modalitate de a testa afirmația că „Lesotho este cea mai mică țară din Africa” fără a o interpreta logic este de a căuta un limbaj similar într-o sursă textuală mare sau pe întregul Web. În experimentele care utilizează Wikipedia ca sursă de încredere și un set de date de 125.000 de afirmații, de exemplu, o echipă condusă de unul dintre studenții [a lui Andreas Vlachos] poate prezice corect dacă o afirmație cu un singur predicat este susținută sau respinsă (sau dacă nu există suficient dovezi) aproximativ 25% din timp (Thorne et al. 2018).

În multe privințe, acest tip de perspectivă academică s-a dovedit esențial pentru a ajuta practicienii să dezvolte platforme automate.

„(Verificarea automată a faptelor) a fost un domeniu de colaborare neobișnuit de strânsă între cercetători și practicieni”, a scris Graves. „Progresele ulterioare vor depinde în principal de doi factori: sprijinul financiar continuu atât pentru cercetarea de bază, cât și pentru experimentele din lumea reală și progresul guvernului și al grupurilor societății civile în stabilirea standardelor de date deschise.”