Zeichenfehlerrate (CER): Definition, Formel und Bedeutung

Die Zeichenfehlerrate (CER) ist eine Kennzahl, die angibt, wie viele Zeichen ein Transkript im Vergleich zu einem Referenztext falsch wiedergibt, auslässt oder zusätzlich enthält. Der englische Fachbegriff dafür ist Character Error Rate. Sie berechnet sich aus der Summe von Ersetzungen, Auslassungen und Einfügungen auf Buchstabenebene, geteilt durch die Zeichenzahl des Referenztexts.

So funktioniert es

Die Zeichenfehlerrate vergleicht zwei Zeichenfolgen: den Referenztext, also den belegten Wortlaut einer Aufnahme, und die Hypothese, also das Transkript der Spracherkennung. Grundlage ist die Levenshtein-Distanz, die kleinste Zahl an Einzelzeichen-Operationen, die die Hypothese in den Referenztext überführt (Levenshtein, 1966). OCR-D unterscheidet dabei dieselben drei Operationen wie bei der Wortfehlerrate, nur auf Zeichen statt auf Wörter angewandt: eine Ersetzung ( $S$ ), eine Auslassung ( $D$ ) und eine Einfügung ( $I$ ) (OCR-D, o. J.). Die Formel lautet:

\text{CER} = \frac{S + D + I}{N}

$N$ ist die Zeichenzahl des Referenztexts, Leerzeichen eingeschlossen. Ein Beispiel: Der Referenztext “StPO” hat vier Zeichen. Schreibt die Spracherkennung “St.PO”, ist ein Punkt eingefügt worden, also S=0, D=0, I=1. CER = $\frac{0 + 0 + 1}{4} = 0{,}25$ . OCR-D bildet ein Zeichen dabei als Grapheme-Cluster ab, also als einen oder mehrere Unicode-Codepunkte, die ein Schriftzeichen ergeben. Damit zählt etwa “ß” als ein Zeichen, nicht als zwei.

Bedeutung für Transkripte im forensischen Kontext

Ein Transkript aus einer Vernehmung oder einer Telefonüberwachung enthält Abkürzungen, Aktenzeichen und Zahlen, deren genaue Schreibweise für die Akte zählt. Die Zeichenfehlerrate zeigt, ob eine hohe Wortfehlerrate an fehlendem Inhalt liegt oder nur an der Schreibweise.

Bei Abkürzungen wie StPO, BKA, DNA oder MRT kann die Wortfehlerrate hoch und die Zeichenfehlerrate zugleich niedrig sein, wenn das Modell die Begriffe richtig erkannt und nur anders geschrieben hat, etwa mit Punkten oder auseinandergezogen. Bei Zahlen und Datumsangaben kann sich das Bild umdrehen: Aus “vierzehnter März” wird “14. März”, inhaltlich richtig, auf Buchstabenebene aber vollständig abweichend.

Bei tiefer Mundart zeigt sich ein dritter Fall. Das Modell weicht dort auf hochdeutsche Wörter aus und trifft dabei einzelne Laute, ohne die eigene Rechtschreibung der Mundart zu treffen. Für den Bearbeiter folgt daraus: Ein Wert allein reicht nicht. Erst der Vergleich beider Kennzahlen zeigt, ob ein Fehler den Sinn eines Transkripts verändert oder nur dessen Schreibweise.

Abgrenzung

Die Wortfehlerrate (WER) rechnet denselben Ansatz auf Wortebene statt auf Zeichenebene (Morris, Maier & Green, 2004). Eine falsch geschriebene Abkürzung zählt bei der Wortfehlerrate als ganzer Fehler, bei der Zeichenfehlerrate nur als die abweichenden Buchstaben. Die Wortfehlerrate zeigt, wie viele Wörter der Bearbeiter prüfen muss, die Zeichenfehlerrate zeigt, ob der Inhalt dieser Wörter stimmt.

Die Levenshtein-Distanz ist keine Fehlerrate, sondern die Rechenvorschrift dahinter: die kleinste Zahl an Ersetzungen, Auslassungen und Einfügungen, die eine Zeichenfolge in eine andere überführt (Levenshtein, 1966). Die Zeichenfehlerrate teilt diese Distanz durch die Zeichenzahl des Referenztexts und macht sie damit zwischen unterschiedlich langen Texten vergleichbar. Ohne diese Normierung ließe sich ein kurzer Satz mit einem Tippfehler nicht gegen ein langes Protokoll mit zehn Tippfehlern stellen.

Häufige Fragen

Ist eine niedrige Zeichenfehlerrate gleichbedeutend mit einem korrekten Transkript?

Nein. Die Zeichenfehlerrate bewertet nur die Schreibweise, nicht die Sprecherzuordnung oder ob ein einzelnes falsches Wort den Sinn eines Satzes verändert. Ein Transkript mit wenigen, aber inhaltlich schweren Fehlern kann eine niedrigere Zeichenfehlerrate haben als eines mit vielen harmlosen Abweichungen in der Zeichensetzung.

Warum kann die Zeichenfehlerrate niedriger sein als die Wortfehlerrate?

Weil ein einzelnes falsch geschriebenes Wort die Wortfehlerrate voll belastet, die Zeichenfehlerrate aber nur um die abweichenden Buchstaben steigt.

Kann die Zeichenfehlerrate über 1,0 steigen?

Ja, wenn eine Spracherkennung mehr Zeichen einfügt, als der Referenztext enthält, etwa bei einer Wiederholungsschleife. OCR-D begegnet diesem Effekt mit einer normierten Variante, die statt durch die Zeichenzahl des Referenztexts durch die Summe aus Fehlern und korrekten Zeichen teilt und dadurch im Bereich von 0 bis 1 bleibt (OCR-D, o. J.).

Quellen

OCR-D (o. J.): Quality Assurance in OCR-D. https://ocr-d.de/en/spec/ocrd_eval.html
Levenshtein, V. I. (1966): Binary codes capable of correcting deletions, insertions, and reversals. Soviet Physics Doklady, Band 10, Heft 8, S. 707 bis 710. https://ui.adsabs.harvard.edu/abs/1966SPhD…10..707L/abstract
Morris, A. C., Maier, V., Green, P. (2004): From WER and RIL to MER and WIL: improved evaluation measures for connected speech recognition. Interspeech 2004, S. 2765 bis 2768, doi:10.21437/Interspeech.2004-668. https://www.isca-archive.org/interspeech_2004/morris04_interspeech.html