Cele mai bune instrumente de transcriere automată pentru jurnaliști

Siri tocmai a împlinit șase ani. Alexa tocmai a împlinit trei ani. Dacă putem să ne întrebăm telefoanele despre vremea din Albuquerque și să obligăm un cilindru de plastic din sufrageria noastră să citească cu voce tare Washington Post, de ce mai transcriem interviurile de mână?

Ei bine, se pare că nu trebuie să facem asta. Instrumentele automate de transcriere sunt pe piață de ceva vreme și în sfârșit devin bune. Acum durează doar câteva minute și câțiva dolari pentru a încărca conținut audio sau video pe un site și pentru a primi o transcriere destul de cuprinzătoare.

Dar, ca toate instrumentele, unele sunt mai bune decât altele. Am testat (sau am încercat să testăm - mai multe despre asta mai târziu) opt dintre cele mai populare instrumente de transcriere destinate jurnaliştilor, inclusiv Dictarea Dragonului , Scrib fericit , o Transcrie , inregistrat , Rev , Sonix , Trint și YouTube. Am analizat fiecare instrument printr-o varietate de scenarii din lumea reală, experimentând modul în care fiecare s-a descurcat împotriva utilizării tipice a unui jurnalist.

Deși niciunul dintre instrumente nu a fost perfect, unul le-a depășit pe celelalte ca fiind cele mai bune din categorie.

Alegerea noastră
O combinație de acuratețe, caracteristici și ușurință în utilizare fac din Trint cea mai bună alegere pentru transcrierea automată pentru jurnaliști. Deși nu a fost cel mai precis, cel mai bogat în funcții sau cel mai ieftin instrument pe care l-am încercat, instrumentele sale de editare a transcripției și capacitatea de a se potrivi puțin mai perfect în fluxul de lucru al unui jurnalist îl ajută să-și devanseze concurenții. Citiți mai departe pentru a vedea de ce.

Experimentul
După cum veți vedea, ratele de precizie ale acestor instrumente sunt scăzute. Asta pentru că ne-am străduit din răsputeri să-i confundăm.

În primul rând, pentru a reflecta o gamă largă de oameni, voci și accente, am înregistrat eșantionul audio cu patru participanți. Acestea au inclus:

• Alexios Mantzarlis , facultate Poynter și director al International Fact-Checking Network, care provine din Roma și s-a descris ca având un șchiopăt și „câteva cuvinte amuzante care amestecă accente britanice, italiene și americane ciudate”
• buchete dulci , manager de program pentru International Fact-Checking Network, care a venit la Poynter din Mexico City în septembrie
• Kristen Hare , un reporter de la Poynter, care crede că sună „ușor „fată de vale” atunci când se ascultă pe ea însăși pe înregistrări
• Eu, și deși Kristen a spus că am un „accent de bivol”, cred că înclinația mea de a bolborosi, de a vorbi prea repede și de a sări peste părți din cuvinte se dovedește probabil mai dificilă pentru transcrieri (înregistrarea în așteptarea transcrierii duce în mod clar la un pic de auto-auto- reflecţie.)

Kristen ni s-a alăturat prin Google Hangouts/YouTube Live ( dezvăluire: un grant de la Google News Lab îmi finanțează parțial poziția ), asupra cărora majoritatea instrumentelor de transcriere automată avertizează în mod deschis. Audio de la un telefon sau un chat video pare să fie universal dificil de gestionat pentru ei.

Pentru a tortura și mai mult algoritmii, citim și pasaje într-un ritm mult mai rapid decât vorbim de obicei, Dulce și Alexios vorbeau o varietate de limbi străine (italiană, spaniolă, franceză și greacă), am rostit cât mai multe substantive proprii (Apalachicola). , Michael Oreskes și diferite insule grecești, ca să numim câteva), au devenit creativi cu Urban Dictionary (a portmanteau lui Paul Manafort și un cuvânt grosier care descrie starea situației sale juridice) și au vorbit unul peste altul cu o oarecare frecvență.

Ne-am înregistrat testul de 14 minute în studioul webinar al lui Poynter și am fost întrerupți de sunetul a cel puțin unui avion puternic deasupra capului (există un aeroport la câteva străzi distanță), un vehicul de urgență și zgomotul telefonului lui Kristen.

Am înregistrat audio-ul în trei moduri:

• Cu Zoom H4nPro microfon de mână, plasat între noi
• Cu iPhone 6S Plus, folosind aplicația Recordly pentru a înregistra, plasată lângă Zoom
• Cu un YouTube Live privat, așa cum ni s-a alăturat Kristen

Apoi am încărcat audio în fiecare instrument și am ținut evidența cât timp a durat fiecare pentru a transcrie. Am normalizat transcrierile rezultate folosind Microsoft Word, eliminând marcajele de timp și asigurându-ne că numele vorbitorilor sunt congruente. Ca control, am transcris audio chiar eu (folosind oTranscribe) și apoi am ascultat de mai multe ori pentru a verifica acuratețea totală. Am încercat, de asemenea, Rev, un serviciu plătit care folosește transcriptoare umane mai degrabă decât algoritmi, pentru a vedea cum s-a stivuit.

Am testat o varietate de instrumente de comparare a documentelor pentru a vedea care a funcționat cel mai bine, stabilindu-ne Copyscape ca cea mai sunetă opțiune. Am comparat transcrierile generate de instrumente și servicii cu cea 100% corectă pe care am creat-o cu oTranscribe.

Câteva note suplimentare:

• Audio de la Zoom sa dovedit a fi de cea mai bună calitate, așa că l-am folosit pentru majoritatea testelor noastre. Aplicația Recordly nu pare să accepte audio înregistrate din alte surse, așa că aceasta este o excepție de la acest proces. De asemenea, nu am încărcat audio Zoom pe YouTube, bazându-ne în schimb pe audio din înregistrarea YouTube Live. Comparația cu mere și portocale face ca acest experiment să fie mai puțin științific, dar mai în concordanță cu modul în care jurnaliștii ar folosi de fapt aceste instrumente în lumea reală.
• Deși este un instrument popular, nu am putut testa Dragon Dictation, deoarece nu funcționează pe iOS 11. Vom actualiza această recenzie când și dacă dezvoltatorul său rezolvă această problemă.
• Nu am contactat niciuna dintre aceste companii înainte de a testa, așa că nu a existat un tratament special sau nu a existat nicio modificare a transcrierilor. Trint, Sonix și Recordly oferă minute gratuite limitate pentru utilizatorii noi, așa că am profitat de acestea pentru experiment. Am folosit cardul de credit al unui coleg non-reporter pentru Happy Scribe și nu am menționat Poynter, deoarece am corespondat cu fondatorii săi în trecut. Și am plătit prețul întreg pentru transcrierea umană a lui Rev. Serviciul de subtitrări YouTube și oTranscribe sunt întotdeauna gratuite.
• Există multe, multe mai multe instrumente de transcriere automată pe care nu le-am inclus în această recenzie. Am încercat să ne concentrăm asupra celor despre care ne-au întrebat jurnaliştii. Dacă credeți că am omis în mod nedrept unul, anunțați-ne și vom actualiza recenzia.

Calitatea transcripției (Câștigător: Scribe fericit)

Se pare că oamenii preocupați de revolta inteligenței artificiale mai au cel puțin câțiva ani de pregătit, deoarece serviciul de transcriere umană pe care l-am testat a depășit transcripțiile automate cu o marjă largă.

Rev a obținut un rating de 82 la sută cu acuratețea, traducătorul uman nu a reușit în mare parte să prindă limbi străine (care, pentru a fi corect, este un serviciu separat), câteva substantive proprii, unele diafonie, câteva cuvinte din argou și bucăți de mormăi. Deși și celelalte instrumente au ratat în mare parte aceste lucruri, transcrietorii umani de la Rev au remarcat cel puțin lucruri precum „[inaudible]” și „[crosstalk]” și „[foreign language]”, care au fost substituenți utili pentru corecțiile ulterioare.

Chiar și cu biții lipsă, transcrierea Rev este complet lizibilă și coerentă. Dacă nu ai fost prin preajmă pentru conversația inițială, ai putea înțelege cheia despre ceea ce vorbeam doar citind-o.

Următoarea transcriere cea mai precisă a fost YouTube. Site-ul de găzduire video a creat automat subtitrări pentru videoclipul nostru live YouTube, care au fost 72 la sută exacte. Dar chiar și cu doar o scădere de 10% a calității generale, transcrierea este semnificativ mai puțin lizibilă decât Rev, deoarece YouTube nu oferă semne de punctuație sau segmentare a vorbitorilor. Legendele există ca un bloc masiv de text. Fără asocierea acestuia cu audio, ar fi aproape imposibil ca cineva care nu a făcut parte din conversație să înțeleagă conversația noastră.

Există și alte dezavantaje ale ofertelor YouTube, dar vom vorbi despre acestea când vom ajunge la funcții.

Happy Scribe s-a dovedit a fi cel mai precis instrument de transcriere non-uman dedicat, cu o precizie de 62% în experimentul nostru. Instrumentul avertizează pe pagina de încărcare să „evitați zgomotul puternic de fundal, „evitați accentele grele”, „evitați Skype și interviurile telefonice” și „ține microfonul aproape de difuzor”, toate acestea pe care le-am ignorat cu respect.

Transcrierea este aproape exactă în locurile în care vorbeam, mai ales când nu a existat nicio diafonie și nu am folosit substantive proprii, dar m-am chinuit destul de mult cu transcrierea lui Dulce, Kristen și Alexios. A împărțit diferiți vorbitori în paragrafe noi în unele locuri, dar a eșuat în altele. Transcrierea generală variază între complet coerentă în unele locuri și bizar de incoerentă în altele, cum ar fi atunci când a transcris Alexios spunând „lasă-mă să deschid Dicționarul Urban și putem trece prin unele dintre acestea” ca „Vreau să spun că chiar și în dicționarul urban fetele sunt aproape. .”

Trint a oferit rezultate similare, cu o precizie de 61%. S-a încurcat în multe dintre aceleași locuri, bâjbâind cu accente, sunet de pe YouTube și secțiuni cu diafonie sau vorbire liniștită. Totuși, nu s-a transcris greșit în exact aceleași moduri ca Happy Scribe. Propoziția dicționarului urban de sus a apărut ca „Vreau să spun că chiar și în dicționarul urban le putem parcurge”.

În general, transcrierea lui Trint este puțin mai ușor de citit decât cea a lui Happy Scribe, deoarece face o treabă mai bună de a diferenția vorbitorii și de a le împărți în paragrafe noi. Nu este perfect, dar adaugă multă claritate atunci când funcționează.

Sonix s-a dovedit a fi următorul cel mai precis la 50 la sută. Sonix a funcționat puțin mai bine decât Happy Scribe și Trint când un singur difuzor vorbea tare. Dar orice cantitate de diafonie, zgomot de fundal sau chiar râs - toate lucrurile care vor apărea probabil în orice utilizare în lumea reală a instrumentului - păreau să-l confunde mai mult decât celelalte. A capturat propoziția dicționarului urban ca „a deschide în dicționarul urban și putem trece prin unele dintre acestea”.

La fel ca și celelalte instrumente, Sonix a încercat să despartă difuzoarele în diferite paragrafe, dar părea să fie puțin mai rău.

Recordly a fost cel mai puțin precis dintre instrumentele de transcriere automată, cu o acuratețe de 48%. Acesta a capturat propoziția Dicționar urban ca „lasă-mă să deschid acel dicționar urban și putem. Treceți prin unele”, ceea ce nu este rău, dar acea bucată de text nu este reprezentativă pentru restul transcrierii. Ca și YouTube, transcrierea lui Recordly este un bloc uriaș de text. Spre deosebire de YouTube, adaugă semne de punctuație, deși mai rar și cu o precizie mai mică decât celelalte instrumente.

Transcrierea Recordly este cea mai puțin utilă în afara contextului.

În general, cea mai bună transcriere a venit din propria mea mână cu oTranscribe. Rev s-a dovedit cea mai bună transcriere pe care nu trebuia să o transcriu eu. Dar aceasta este o trecere în revistă a instrumentelor de transcriere automată și, în acea categorie, Happy Scribe abia l-a depășit pe Trint pentru a ieși în frunte.

Caracteristici (Câștigător: Sonix)
Câteva lucruri par a fi standardele industriei instrumentelor de transcriere automată. Abilitatea de a reda sunetul încărcat este una evidentă. Toate instrumentele permit utilizatorilor să exporte transcrieri în diferite formate.

Instrumentele bazate pe browser (ceea ce înseamnă toate, cu excepția Recordly) oferă, de asemenea, o suită comună. Toate permit utilizatorilor să facă clic pe diferite puncte din text și să sară direct la acea parte a înregistrării. Toate au opțiuni pentru a reda audio la o viteză mai mică (cu taste de comenzi rapide sau prin jocul de setări), pentru a edita manual transcrierile, a încărca videoclipuri în plus față de audio și a stoca transcrierile pentru utilizare ulterioară.

Trint face un pas dincolo și prezintă o formă de undă vizualizată a sunetului în partea de jos a transcripției, pe care utilizatorii o pot trece după bunul plac. De asemenea, are instrumente încorporate pentru a găsi și înlocui, evidenția sau șterge textul. Utilizatorii pot adăuga o listă de vorbitori la instrument și pot atașa numele lor la fiecare paragraf. Are, de asemenea, o funcție la îndemână pentru a trimite prin e-mail o transcriere cu un singur clic.

Sonix oferă toate aceste instrumente (cu excepția formei de undă interactivă) și încă câteva. Cele mai utile sunt „culorile de încredere”, care atribuie culori diferite cuvintelor în care Sonix este mai puțin încrezător; un evaluator de calitate audio, care vă spune cât de încrezător este Sonix în privința transcripției sale; și identificarea automată a difuzorului, o funcție beta care încearcă să identifice diferiți vorbitori și să le atribuie ID-uri.

În testul nostru, Sonix a identificat doar două difuzoare diferite, așa că acest instrument are nevoie de ceva lucru, dar este totuși extrem de util.

Înregistrare, singura aplicație (doar iOS) din grup oferă cele mai puține funcții. Este aproape o experiență de înregistrare și așteptare. Transcrierea este livrată într-un format similar cu aplicația de note încorporată a Apple, cu funcționalitate limitată de editare. De asemenea, permite utilizatorilor să exporte audio sau text într-o altă aplicație.

Deși funcțiile Trint de găsire și înlocuire și de formă de undă sunt utile la corectarea transcrierilor, caracteristicile Sonix adaugă transparență vitală procesului de transcriere. Și, deși beta de identificare a difuzorului nu este pe deplin de încredere, este un instrument ambițios care ar trebui doar să se îmbunătățească de aici.

Timp (Câștigător: Scrib fericit, Trint și inregistrat)

Aici strălucește transcrierea automată. Toate instrumentele au furnizat o transcriere în mai puține minute decât lungimea fișierului audio pe care l-am trimis. Diferența dintre Happy Scribe (cinci minute), Trint (șase minute) și Recordly (șase minute) a fost neglijabilă, dar Sonix a durat ceva mai mult (11 minute). (Actualizare: un reprezentant de la Sonix a spus că viteza sa este în concordanță cu celelalte instrumente atunci când funcția de identificare a difuzorului este dezactivată.) Într-un cadru real, aceasta ar putea fi o diferență crucială, mai ales în cazul transcripțiilor mai lungi.

YouTube este un pic un mister aici. Pentru această transcriere, a durat doar câteva minute pentru ca subtitrările automate să apară. În experiențele anterioare, am descoperit că durata de timp necesară pentru a apărea poate varia destul de mult. Deoarece YouTube nu este cu adevărat menit să fie folosit în acest fel, nu suntem siguri cât timp durează de obicei.

A durat aproximativ patru ore și 15 minute pentru ca transcriptoarele umane ale lui Rev să-și termine transcrierea. Mi-a luat aproximativ jumătate din asta pentru a o face eu cu oTranscribe, dar nu fără câteva pauze, Spotify Focalizare profundă playlist și doi litri de cafea.

Preț (Câștigător: inregistrat)

Nu poți învinge gratuit (YouTube, oTranscribe), dar când vine vorba de instrumentele de transcriere automată dedicate, costul variază foarte mult. Pentru a determina cel mai bun preț, trebuie să luați în considerare cât de des veți folosi instrumentul.

Sonix este cel mai scump, cu un plan de bază care începe de la 15 USD pe lună plus 8 USD pentru fiecare oră de audio transcris. Dar instrumentul oferă o reducere importantă de 33 la sută pentru plata anuală în loc de lunară.

Trint oferă, de asemenea, planuri care pornesc de la 15 USD pe oră pentru transcripții cu plata pe măsură ce încărcați sau 40 USD pe lună pentru până la trei ore de audio transcris. Trancrierile suplimentare costă doar la nord de 13 USD pe oră.

Happy Scribe costă 10 cenți pe minut de audio încărcat. Pentru tipurile mai puțin înclinate spre matematică, aceasta este 6 USD pe oră.

Cu doar 2 USD pe oră, cu prima oră gratuită, Recordly este de departe cea mai ieftină opțiune de transcriere automată.

Deloc surprinzător, transcriptoarele umane de la Rev costă mai mult decât celelalte instrumente. Clipul nostru de 13 minute a costat 14 USD pentru a transcrie, iar noi am plătit cu 3,50 USD în plus pentru marcajele de timp. Totuși, costul relativ ieftin pentru orele de muncă implicate ne face să ne întrebăm unde sunt transcrietorii lui Rev în lume și cât de bine sunt compensați.

Ușurință în utilizare (Câștigător: Trint)
Niciunul dintre aceste instrumente nu este greu de utilizat. Încărcați un fișier în fiecare (sau înregistrați audio cu acesta, în cazul lui Recordly) și, ceva timp mai târziu, acesta vă trimite un link către o transcriere editabilă.

Trint face un pas mare dincolo de încărcarea fișierelor și acceptă audio sau video dintr-o varietate de surse, inclusiv Dropbox, Google Drive și FTP și chiar permite utilizatorilor să introducă doar un link. Acesta este unic printre instrumentele pe care le-am testat. Trint pune, de asemenea, câteva întrebări utile despre zgomotul de fundal, diafonia și multe altele înainte de a începe încărcarea. Nu va repara o înregistrare, dar este un util UX din cap care îi învață pe utilizatori cum să înregistreze mai mult audio transcribil în viitor.

Happy Scribe, Rev, Sonix și Trint trimit toate e-mailurile când transcrierea este gata, așa că nu este nevoie să stai și să te uiți la ecran.

Concluzia
Nu este cea mai ieftină și nici nu este cea mai precisă opțiune de transcriere generală disponibilă, dar Trint a câștigat ca fiind cel mai bun instrument complet dintre cei pe care i-am testat.

Compania, care are puțin peste un an și a primit finanțare de la Fundația Knight (avertisment: și Poynter primeste finanțare de la Knight) și Digital News Initiative de la Google, oferă cea mai bună combinație generală de funcționalitate, acuratețe și ușurință în utilizare.

Doar funcția de subtitrăre automată a YouTube, care a obținut o rată de precizie de 72 la sută, s-a descurcat semnificativ mai bine decât Trint la transcrierea bazată pe algoritm. Însă YouTube nu este conceput pentru tipul de transcriere de care au nevoie jurnaliştii în fiecare zi şi nu oferă nici un fel de funcţionalitate de editare.

Deși tânărului startup Happy Scribe s-a descurcat puțin mai bine la testele noastre de precizie, cu o rată de 62 la sută și vine la aproximativ o treime din prețul lui Trint, îi lipsesc multe dintre caracteristicile suplimentare care îl fac pe Trint util. Capacitatea de a încărca din mai multe surse, de a găsi și înlocui textul și identificarea vorbitorului sunt instrumente mici, dar importante pentru fluxul de lucru. Dacă doar cauți o transcriere rapidă și murdară, Happy Scribe poate fi calea de urmat.

Și, deși este adevărat, 61 la sută sunt departe de a fi perfecte, testele noastre au fost puțin mai dificile decât majoritatea utilizărilor din lumea reală.

Am testat, de asemenea, Rev, un serviciu de traducere umană, și oTranscribe, care oferă instrumente la îndemână jurnaliştilor pentru a transcrie audio pe cont propriu. La 1 USD/minut de audio transcris, am constatat că Rev este prea scump pentru ca jurnalistul obișnuit să îl folosească în mod regulat. Și, deși oTranscribe a fost la îndemână, nu rezolvă oboseala și neplăcerea transcrierii.

Având în vedere utilizările tipice, Trint este cel mai bun instrument de transcriere automată complet pentru jurnaliști.

Corecție: am raportat anterior că Sonix nu o face oferi găsiți și înlocuiți unealta, dar de fapt o face. Ne cerem scuze că am ratat-o.

Aflați mai multe despre instrumentele de jurnalism cu Try This! — Instrumente pentru jurnalism. Incearca asta! este alimentat de Google News Lab . Este susținut și de Institutul American de Presă si Fundația John S. și James L. Knight