Konfidenz (Spracherkennung)

Konfidenz ist ein Zahlenwert zwischen 0 und 1, den eine Spracherkennung jedem erkannten Wort zuweist und der ausdrückt, wie sicher sich das Modell bei diesem Wort war. Ein anderer Name dafür ist Wort-Wahrscheinlichkeit. Die Zahl beschreibt die Sicherheit des Modells während der Erkennung, nicht, ob das Wort im fertigen Transkript tatsächlich richtig steht.

So wird sie berechnet

Ein Spracherkennungsmodell zerlegt jedes Wort in Token und weist jedem Token eine Wahrscheinlichkeit zu. faster-whisper, das Backend hinter mehreren memozero-Modellen, mittelt diese Token-Wahrscheinlichkeiten zu einem Wert je Wort und legt ihn im Feld probability der Word-Klasse ab. Fehlt dieser Wert, weil ein Backend keine Wort-Zeitstempel liefert, greift memozero ersatzweise auf den Durchschnittswert des ganzen Segments zurück: Die Software wandelt den mittleren Log-Wert des Segments (avg_logprob) mit der Exponentialfunktion in eine Zahl zwischen 0 und 1 um.

Radford et al. (2022) beschreiben im Whisper-Papier verwandte Kennzahlen, mit denen das Modell eine ganze Textpassage statt eines einzelnen Wortes bewertet. Liegt die mittlere Log-Wahrscheinlichkeit der erzeugten Token unter −1 oder die Gzip-Kompressionsrate des Texts über 2,4, verwirft die Software den Durchlauf und wiederholt ihn mit einer um 0,2 höheren Temperatur, bis maximal 1,0. Die Hugging-Face-Modellkarte von Whisper large-v3 nennt zusätzlich die Schwelle no_speech_threshold 0,6: Liegt die Wahrscheinlichkeit für keine Sprache darüber, wertet die Implementierung die Passage als Stille. Diese Werte entscheiden, ob ein ganzer Abschnitt neu erzeugt oder als Stille behandelt wird. Die Wort-Konfidenz im Editor bewertet dagegen ein bereits fertiges Wort, nachdem die Erkennung abgeschlossen ist.

Wofür sie im Editor gebraucht wird

Der Editor von memozero markiert Wörter mit geringer Konfidenz farblich und richtet daran die Reihenfolge der Prüfung beim Gegenhören aus. Ab einer Konfidenz unter 0,75 erhält ein Wort eine gelbe Unterstreichung, unter 0,5 eine orangene. Ein Klick auf eine markierte Stelle springt zwei Sekunden vor die betreffende Passage und startet die Wiedergabe, sodass der Bearbeiter das Wort gegen den Ton prüfen kann, wie die memozero-Dokumentation zum Editor beschreibt.

Die Markierung ersetzt das Gegenhören nicht, sie sortiert die Prüfreihenfolge. Ein Bearbeiter, der nur die farbig markierten Wörter liest, übersieht Fehler bei Wörtern, die das Modell mit hoher Konfidenz falsch erkannt hat.

Abgrenzung zu Wortfehlerrate und Halluzination

Die Wortfehlerrate (WER) misst nach der Transkription, wie viele Wörter von einem belegten Referenztext abweichen, und braucht dafür einen von Menschen erstellten Vergleichstext. Konfidenz entsteht während der Erkennung, ohne Referenztext, und beschreibt nur die Sicherheit des Modells bei der eigenen Ausgabe. Ein Wort mit hoher Konfidenz kann trotzdem falsch sein, etwa wenn das Modell einen Eigennamen oder eine Zahl mit einem ähnlich klingenden, aber falschen Wort verwechselt.

Halluzination bezeichnet Text, für den die Aufnahme keinen Beleg liefert. Koenecke et al. (2024) fanden solche frei erfundenen Sätze in rund 1 Prozent von 13.140 ausgewerteten Audiosegmenten, gehäuft dort, wo im Originalton niemand sprach. Die Wort-Konfidenz wird erst berechnet, nachdem das Modell einen Text erzeugt hat, und erkennt deshalb keine Halluzination als solche. Whisper markiert lange Stille und wiederholte Ausgaben über die Kompressionsrate und die Sprachaktivitäts-Schwelle aus dem vorigen Abschnitt, nicht über die Konfidenz einzelner Wörter.

Bedeutung im forensischen Kontext

In einem forensischen Transkript entscheidet die Konfidenzmarkierung, wo der Bearbeiter beim Gegenhören zuerst ansetzt, ersetzt die vollständige Prüfung aber nicht. Bei einer Vernehmung mit mehreren Sprechern, die einander ins Wort fallen, markiert memozero mehr Wörter orange als bei einem sauberen Einzelsprecher-Diktat.

Ein zitierfähiges Transkript verlangt, jedes Wort gegen den Ton zu prüfen, nicht nur die markierten Stellen. Ein Aktenzeichen, ein Datum oder ein Eigenname mit hoher Konfidenz kann falsch sein, ohne dass die Farbmarkierung im Editor das anzeigt.

Häufige Fragen

Bedeutet eine hohe Konfidenz, dass ein Wort richtig ist?

Nein. Konfidenz beschreibt nur, wie sicher sich das Modell bei der Erkennung war. Ein Wort mit hoher Konfidenz kann trotzdem falsch sein, wenn zwei ähnlich klingende Wörter im Kontext beide plausibel wirken.

Erkennt die Konfidenz ein halluziniertes Wort?

Nein. Ein halluzinierter Satz kann eine ähnlich hohe Konfidenz tragen wie ein korrekt erkanntes Wort, weil die Konfidenz erst berechnet wird, nachdem das Modell den Text bereits erzeugt hat.

Warum unterscheiden sich die Konfidenzwerte zwischen zwei Aufnahmen desselben Sprechers?

Weil Nebengeräusche und Überlappung mit anderen Sprechern die Token-Wahrscheinlichkeit des Modells verändern, nicht die Identität des Sprechers.

Quellen

1. Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., Sutskever, I. (2022): Robust Speech Recognition via Large-Scale Weak Supervision. arXiv:2212.04356. https://arxiv.org/abs/2212.04356
2. Hugging Face: openai/whisper-large-v3, Modellkarte, Parameter no_speech_threshold 0,6. https://huggingface.co/openai/whisper-large-v3
3. SYSTRAN: faster-whisper. GitHub-Repository, Abschnitt Word-level timestamps und Word-Klasse. https://github.com/SYSTRAN/faster-whisper
4. Koenecke, A., Choi, A. S. G., Mei, K. X., Schellmann, H., Sloane, M. (2024): Careless Whisper: Speech-to-Text Hallucination Harms. ACM FAccT ‘24, Rio de Janeiro, arXiv:2402.08021. https://arxiv.org/abs/2402.08021
5. memozero: Transkripte korrigieren, Abschnitt Unsichere Stellen prüfen. https://memozero.io/de/docs/transkripte-korrigieren/