Ik heb lokaal op mijn computer (iMac) een transcriptie model draaien. Het resultaat is best aardig, maar bevat nog fouten. Hieronder een beschrijving.
Whisper large-v3 in het kort
Whisper large-v3 is een spraakherkenningsmodel van OpenAI. Het zet gesproken taal om in geschreven tekst. Dat heet transcriberen. Het kan ook gesproken taal naar het Engels vertalen. Je kunt een taal opgeven en tijdstempels per zin of per woord laten toevoegen.
Omvang: 1,55 miljard parameters, dus een groot model. Je kunt het zelf op een computer draaien, ook zonder internet nadat het gedownload is.
Talen: 99 talen.
Training: het is getraind op ongeveer 1 miljoen uur audio met niet-handmatig gecontroleerde ondertitels van internet, en op 4 miljoen uur audio die door de vorige versie (large-v2) van een tekst is voorzien. Het kent dus veel soorten spraak, maar niet alles is zorgvuldig nagekeken.
Verbetering: 10 tot 20 procent minder fouten dan large-v2.
Licentie: Apache 2.0. Het is vrij te gebruiken, ook door organisaties.
Wat het niet doet (nu wel)
Whisper herkent geen sprekers. Voor “wie zegt wat” is een apart onderdeel nodig (pyannote), dat via WhisperX wordt gebruikt. Dit heb ik geïnstalleerd.
Beperkingen volgens de makers
Het kan tekst verzinnen die niet in de opname staat, vooral bij stilte of ruis.
Het is minder nauwkeurig bij talen met weinig beschikbare data.
De nauwkeurigheid verschilt per accent en dialect, en kan verschillen tussen sprekers van verschillende geslacht, leeftijd of herkomst.
Het neigt naar herhaling van zinnen.
De makers waarschuwen tegen het transcriberen van opnames van mensen zonder hun toestemming.
Dat laatste punt, de hogere foutkans bij dialecten en minder gangbare talen, en het verzinnen van tekst zijn voor VluchtelingenWerk het meest relevant. Ze zijn een reden om elk verslag door een mens te laten controleren.
Dit is een beschrijving van het model, niet van de hele werkwijze. Het hoort in een voorstel naast de privacy-afspraken en de controle door een mens.
Techniek
Onderdeel Versie
WhisperX 3.8.6
faster-whisper 1.2.1
pyannote-audio 4.0.7
Sprekermodel speaker-diarization-community-1
Spraakmodel large-v3 (of medium, per run)