Halluzination (Spracherkennung)

Halluzination bezeichnet in der Spracherkennung einen Text, den ein Modell ausgibt, obwohl die Aufnahme keinen Beleg dafür liefert. Koenecke et al. (2024) definieren den Fall als Text, der unsinnig ist oder nicht zur zugrunde liegenden Audioquelle passt. Andere Bezeichnungen sind ASR-Halluzination und Konfabulation. Anders als ein Erkennungsfehler beruht eine Halluzination auf keinem gesprochenen Wort, der Text ist frei erfunden.

So entsteht sie

Ein Modell wie Whisper arbeitet als audio-bedingtes Sprachmodell und sagt bei jedem Schritt das wahrscheinlichste nächste Wort voraus, gestützt auf das Audiosignal und auf den bereits erzeugten Text. Radford et al. (2022) benennen als eigene Fehlerklasse die vollständige Halluzination, bei der das Modell ein Transkript ausgibt, das mit der tatsächlichen Aufnahme nichts zu tun hat, daneben das Steckenbleiben in Wiederholungsschleifen. Fehlt ein starkes Audiosignal, etwa bei Stille oder Hintergrundrauschen, stützt sich das Modell stärker auf sein gelerntes Sprachmuster und füllt die Lücke mit plausibel klingendem, aber erfundenem Text. Koenecke et al. (2024) bestätigen diesen Zusammenhang messtechnisch: Aufnahmen, die zu einer Halluzination führten, hatten einen höheren Anteil an stimmloser Zeit als Aufnahmen ohne Halluzination, 29 Prozent gegenüber 26 Prozent der Gesamtdauer. Radford et al. (2022) begegnen dem in ihrer eigenen Pipeline mit Strahlensuche über 5 Kandidaten und einer ansteigenden Temperatur, sobald die mittlere Log-Wahrscheinlichkeit der erzeugten Wörter unter minus 1 fällt oder die Wiederholungsrate des Texts einen festen Schwellenwert übersteigt.

Wofür die Kenntnis gebraucht wird

Wer ein automatisch erzeugtes Transkript weiterverwendet, muss wissen, dass ein flüssig klingender Satz kein Beleg für seine Richtigkeit ist. Koenecke et al. (2024) fanden in 13.140 geprüften Audioabschnitten bei 1,4 Prozent eine Halluzination, mit auffällig langen und in sich stimmigen Zusatzsätzen. Diese Quote wirkt klein, reicht aber bei mehrstündigem Material für mehrere erfundene Sätze pro Aufnahme. Der Bearbeiter braucht deshalb eine feste Regel, ab welcher Auffälligkeit er den Ton gegenhört, statt sich auf den Lesefluss des Transkripts zu verlassen.

Abgrenzung zu Erkennungsfehler und Wortfehlerrate

Ein Erkennungsfehler im engeren Sinn ist eine Substitution: Das Modell setzt ein falsches Wort an die Stelle eines echten, etwa weil zwei Wörter ähnlich klingen. Der Fehler bleibt an das tatsächlich gesprochene Wort gebunden. Eine Halluzination hat keine solche Bindung, sie fügt Wörter oder ganze Sätze ein, für die im Audio kein Gegenstück existiert.

Die Wortfehlerrate zählt beide Fälle nach derselben Formel, $\text{WER} = \frac{S + D + I}{N}$, wobei $S$ die Zahl der Substitutionen, $D$ die der Auslassungen, $I$ die der Einfügungen und $N$ die Wortzahl des Referenztexts ist. Eine Halluzination geht dabei als Einfügung in die Zählung ein, genau wie ein harmloses Zusatzwort. Bei der eigenen Messung mit 321 statt 130 Wörtern läge die Wortfehlerrate allein durch die Einfügungen bei $\text{WER} = \frac{0 + 0 + 191}{130} \approx 1{,}47$, eine Zahl, die zeigt, dass die Wortfehlerrate zwar das Ausmaß, nicht aber die Art des Fehlers unterscheidet.

Bedeutung im forensischen Kontext

In einer Vernehmung, einer Exploration oder einem Telefonat einer Überwachungsmaßnahme kann eine Halluzination einen Satz erzeugen, den keine der beteiligten Personen gesagt hat. Koenecke et al. (2024) nennen als Beispiel für die Tragweite ein Gerichtsverfahren oder ein Gefängnistelefonat, bei dem ein solcher erfundener Satz in einer Transkription zu einer verzerrten Entscheidung beitragen könnte. In der eigenen Kategorisierung der Autoren enthalten 38 Prozent der gefundenen Halluzinationen einen von drei Schadenstypen, darunter in 19 Prozent aller Fälle Gewaltdarstellungen, die im Originalton nicht vorkommen. Für ein forensisches Transkript folgt daraus eine feste Arbeitsregel: Jeder auffällig lange oder thematisch abweichende Absatz wird am Originalton gegengehört, bevor er in ein Protokoll übernommen wird. Eine Markierung unsicherer Wortstellen im Editor ersetzt dieses Gegenhören nicht, sie zeigt nur, wo das Modell selbst wenig Vertrauen in seine Ausgabe hatte, und eine Halluzination kann trotzdem mit hoher Konfidenz ausgegeben werden.

Häufige Fragen

Erkennt eine Spracherkennung ihre eigenen Halluzinationen?

Nicht zuverlässig. Ein Modell wie Whisper gibt halluzinierten Text oft mit derselben scheinbaren Sicherheit aus wie einen korrekt erkannten Satz, weil beide aus demselben Sprachmuster erzeugt werden. Koenecke et al. (2024) mussten Halluzinationen deshalb über einen Vergleich zweier unabhängiger Durchläufe derselben Aufnahme aufspüren, nicht über eine Kennzahl aus einem einzelnen Durchlauf.

Kommen Halluzinationen häufiger bei Stille oder Störgeräuschen vor?

Ja. Koenecke et al. (2024) maßen für Aufnahmen mit einer Halluzination einen höheren Anteil an stimmloser Zeit, 29 Prozent gegenüber 26 Prozent bei Aufnahmen ohne Halluzination. Radford et al. (2022) benennen zusätzlich Wiederholungsschleifen als eigenständiges Fehlermuster, das vor allem bei längeren Aufnahmen auftritt.

Hilft eine höhere Sprachqualität der Aufnahme gegen Halluzinationen?

Sie senkt das Risiko, schließt es aber nicht aus. Der Bearbeiter prüft deshalb auch bei guter Aufnahmequalität jeden ungewöhnlich langen Abschnitt am Ton.

Quellen

1. Koenecke, A., Choi, A. S. G., Mei, K. X., Schellmann, H., Sloane, M. (2024): Careless Whisper: Speech-to-Text Hallucination Harms. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT ‘24), 10 Seiten, doi:10.1145/3630106.3658996. https://dl.acm.org/doi/10.1145/3630106.3658996
2. Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., Sutskever, I. (2022): Robust Speech Recognition via Large-Scale Weak Supervision. arXiv:2212.04356. https://arxiv.org/abs/2212.04356