Word Error Rate (WER): Zentrale Konzepte, Formel und Anwendungsbereiche

Theoretisch ist die Word Error Rate (WER) ein Maß zur Bestimmung der Genauigkeit eines Automatic Speech Recognition (ASR)-Tools. Ein niedriger WER-Wert bedeutet, dass Ihr Transkript genauer ist, während eine höhere Fehlerquote auf falsch transkribierte Informationen hinweist.

In der Praxis kann WER den Unterschied machen, ob eine medizinische Transkriptionssoftware festhält, dass ein Patient ‘fünfzehn Milligramm’ oder ‘fünfzig Milligramm’ eines Medikaments benötigt. Es ist der Unterschied zwischen einem Support-Tool, das die Kundenanliegen korrekt erfasst, und einem, das Nutzer frustriert zurücklässt.

In diesem Artikel erklären wir, was WER ist, wie man sie berechnet und wie Sie damit Ihren eigenen ASR-Anbieter bewerten können.

Zusammenfassung

• Die Word Error Rate zählt drei Fehlertypen – Substitutionen, Auslassungen und Einfügungen – und teilt diese durch die Anzahl der Wörter im Referenztranskript.
• Die Formel für WER lautet: WER = (S + D + I) / N.
• Niedrigere WER-Werte bedeuten eine höhere Genauigkeit des Ergebnisses.
• Ein WER unter 5 % ist ein guter Richtwert, wobei juristische oder medizinische Transkriptionen oft noch niedrigere Werte erfordern.
• WER behandelt alle Fehler gleich, ist also kein perfektes Maß für die Kontextgenauigkeit. Neue Metriken wie Semantic Word Error Rate (SWER) versuchen dies zu berücksichtigen, indem sie messen, ob die Bedeutung einer Äußerung erhalten bleibt.

Was ist die Word Error Rate?

Die Word Error Rate (WER) ist der Standard zur Messung der Erkennungsgenauigkeit in Speech to Text-Modellen. Sie gibt als Wert zwischen 0 und 1 (z. B. 0,8 für 80 % Fehlerquote) an, wie viele Fehler ein STT-System beim Transkribieren macht, aufgeschlüsselt nach Substitutionen, Auslassungen und Einfügungen.

Eine Substitution liegt vor, wenn ein Wort durch ein falsches ersetzt wird. Eine Auslassung bedeutet, dass ein Wort komplett fehlt. Eine Einfügung ist ein zusätzliches Wort, das nie gesagt wurde. WER nutzt alle drei Komponenten und teilt sie durch die Anzahl der Wörter im korrekten Transkript – so erhalten Sie einen Wert, mit dem Sie verschiedene Anbieter vergleichen können.

Hier ist die ausgeschriebene Formel für WER:

WER = (S + D + I) / N

Dabei gilt:

• S: Substitutionen (Wort ist falsch)
• D: Auslassungen (Wort fehlt)
• I: Einfügungen (zusätzliches Wort vorhanden)
• N: Gesamtzahl der Wörter im Referenztranskript

WER kann als Dezimalzahl oder Prozentwert angegeben werden. Je niedriger der WER, desto weniger Fehler hat das Modell beim Transkribieren gemacht.

In der Praxis bedeutet ein WER von 10 %, dass etwa jedes zehnte Wort im Transkript einer Besprechung überprüft werden sollte.

Warum ist die Word Error Rate in Spracherkennungssystemen wichtig?

Die Word Error Rate bietet ein objektives Maß, mit dem Teams verschiedene Anbieter vergleichen können. Sie durchbricht Marketingversprechen und zeigt klar, wie genau ein Spracherkennungsmodell arbeitet. Unternehmen erhalten so eine faktenbasierte Entscheidungsgrundlage, welche Modelle aktuell führend sind.

Quelle:Artificial Analysis abgerufen am 10. Juli 2026.

Im Juli 2026 zeigt unabhängige Forschung von Artificial Analysis, dass ElevenLabs’ Scribe v2 auf dem AA-AgentTalk-Datensatz für nicht-streamende Transkriptionsmodelle mit 1,5 % WER den niedrigsten Wert der Branche erzielt.

Über die Anbieterauswahl hinaus hat WER direkte Auswirkungen auf Produkte. Medizinische Transkriptionssoftware mit 12 % WER kann kritische Fehler in Patientenakten verursachen. Fehlerhafte Transkriptionen in Supportgesprächen können zu Folgeproblemen wie falscher Stimmungsanalyse oder schlechter Kategorisierung führen.

Abgesehen von diesen spezifischen Anwendungsfällen sind bei Fehlern in ASR-Systemen oft die Menschen am stärksten betroffen, für die das Transkript der einzige Zugang zu gesprochenen Inhalten ist. DasWorld Wide Web Consortium bietet umfassende Dokumentation zu den Mindeststandards, die von Barrierefreiheitsinitiativen erwartet werden.

So berechnen Sie die Word Error Rate: Formel und Beispiel

Die Berechnung der Word Error Rate ist einfach, wenn Sie die Schritte kennen. Wie oben beschrieben, lautet die Formel WER = (S + D + I) / N. Alle Begriffe sind oben erklärt, zur schnellen Übersicht: Substitutionen, Auslassungen, Einfügungen und N für die Gesamtzahl der Wörter.

So berechnen Sie WER:

1. Erstellen Sie ein Referenztranskript: Nutzen Sie menschliche Transkription und Überprüfung, um eine genaue Abschrift eines Audioclips zu erstellen.
2. Nutzen Sie Ihr STT-Tool: Verwenden Sie eine ASR-Plattform, um den Audioclip zu transkribieren und ein KI-Transkript als Testversion zu erzeugen.
3. Vergleichen Sie beide Versionen: Nutzen Sie dynamische Programmierung (insbesondere den Levenshtein-Algorithmus), um die minimale Anzahl an Änderungen zu bestimmen. Auf diesen Algorithmus gehen wir später noch ein.
4. Formel anwenden:Zählen Sie die Gesamtzahl der Fehler in der KI-Version im Vergleich zur menschlich geprüften Abschrift und berechnen Sie dann mit WER = (S + D + I) / N den exakten Wert.

Das klingt auf dem Papier technisch, ist in der Praxis aber deutlich einfacher. Hier ein Beispiel zur Veranschaulichung.

Referenztranskript:Mrs. Dalloway sagte, sie würde die Blumen selbst kaufen.

ASR-Ausgabe:Miss Dalloway sagte, sie würde Blumen selbst kaufen.

Bei der Fehlerberechnung ergibt sich 1 S und 1 D bei insgesamt 9 Wörtern.

Mit der Formel ergibt sich: WER = 2 / 9 = 0,222 = 22,2 %.

Word Error Rate mit Python berechnen

Die manuelle Methode funktioniert gut, aber Sie sparen Zeit, wenn Sie WER mit Python berechnen. Diejiwer-Bibliothek übernimmt dies vollständig automatisch.

Mit der jiwer-Dokumentation können Sie das Paket installieren, das speziell für die Bewertung von ASR-Systemen und die Berechnung von Kennzahlen wie WER entwickelt wurde. Nach der Installation können Sie mit folgendem Code schnell WER mit Python berechnen:

from jiwer import wer

reference = "the quick brown fox jumps over the lazy dog"
asr = "the quick brown fox leaps over the last lazy dog"

print(wer(reference, asr))  # 0.222

In diesem Beispiel unterscheidet sich die ASR-Ausgabe an zwei Stellen vom Original. Das Wort ‘jumps’ wurde fälschlich als ‘leaps’ transkribiert (Substitution) und ‘last’ wurde vor ‘lazy’ eingefügt (Einfügung). Mit zwei Fehlern bei neun Wörtern im Referenztranskript ergibt sich eine Word Error Rate (WER) von 0,222 bzw. 22,2 %.

Vergleich von Word Error Rate und anderen Erkennungsmetriken

WER ist der Standard zur Genauigkeitsmessung in ASR-Systemen, aber es gibt weitere Tools. Zum Beispiel:

• Character Error Rate (CER): Ähnlich wie WER, misst aber die Genauigkeit auf Zeichenebene statt auf Wortebene. Besonders geeignet für Sprachen ohne klare Wortgrenzen (scriptio continua) oder bei schreibweisenabhängigen Aufgaben.
• Match Error Rate (MER): Misst den Anteil der Transkriptionsfehler, behandelt Substitutionen, Einfügungen und Auslassungen aber etwas anders als WER. Der Fokus liegt auf dem Anteil der Fehler in einem Satz.
• Word Information Lost (WIL): Schätzt, wie viel der ursprünglichen Information bei der Transkription verloren ging, und misst so die Verständlichkeit statt nur die Fehleranzahl wie WER.
• Embedding Error Rate (EmbER): Bietet eine semantische Analyse zwischen den Transkriptionen. Sie geht über WER hinaus und zeigt die semantische Distanz zwischen dem korrekten Wort und der fehlerhaften Transkription.

Jede dieser Metriken eignet sich für unterschiedliche Szenarien. Hier eine Übersichtstabelle:

Levenshtein-Distanz: Die Mathematik hinter WER

Die Word Error Rate misst im Grunde die Distanz zwischen Original und Hypothese. Um diesen Unterschied mathematisch zu erfassen, wird die Levenshtein-Distanz verwendet.

Die Levenshtein-Distanz zählt die minimale Anzahl an Einheiten-Änderungen, um eine Sequenz in eine andere zu überführen. Für WER sind das konkret Substitutionen, Einfügungen und Auslassungen. Um zum Beispiel ‘Cat’ in ‘Mat’ zu verwandeln, muss das ‘C’ durch ein ‘M’ ersetzt werden – Distanz 1.

Während diese Methode bei CER häufiger genutzt wird, skaliert WER die Levenshtein-Distanz auf Wortebene. Jede Einheit ist ein ganzes Wort statt eines Zeichens. Die Distanz misst, wie viele Wortänderungen nötig wären, um die ASR-Ausgabe ins Original zu überführen.

Wir erstellen eine Matrix, in der jede Zelle die Gesamtdistanz zwischen Original- und ASR-Transkript darstellt. Die Levenshtein-Distanz füllt die Matrix von oben links nach unten rechts, die letzte Zelle gibt die Gesamtzahl der Wortänderungen an. Teilt man diese Zahl durch N, erhält man den WER.

Normalerweise wird diese Matrix auf Zeichenebene berechnet, hier ist zur Vereinfachung eine Version auf Wortebene.

Häufige Fehler und Missverständnisse rund um die Word Error Rate

Gerade wennSTT-APIs immer zugänglicher werden und ASR-Software ein fester Bestandteil von Agenten-Stacks ist, werden viele Tools miteinander verglichen.

Vor der eigenen Berechnung der Word Error Rate sollten Sie einige typische Fehlerquellen und Missverständnisse kennen.

• Alle Fehler sind gleich: WER bewertet jeden Fehler als gleich schwerwiegend. Das ist in vielen Kontexten ausreichend, in manchen Anwendungsfällen aber nicht akzeptabel. Im Krankenhaus kann ein WER von 5 %, der als gut gilt, trotzdem unverständlich sein, da schon ein oder zwei Fehler ein Risiko für Patienten bedeuten können. Diese Einschränkung führte zur Entwicklung neuer Metriken wie Semantic Word Error Rate (SWER), die prüfen, ob die Bedeutung eines Satzes erhalten bleibt, statt nur die exakte Wortübereinstimmung zu messen.
• WER kann über 100 % liegen: Obwohl WER normalerweise zwischen 0 und 1 liegt, kann der Wert auch über 100 % steigen. Das liegt daran, dass Einfügungsfehler mehr Wörter erzeugen können als im Original vorhanden waren. Ein Beispiel ist die Transkription von ‘I’m’ als ‘I am’, wobei aus einem Wort zwei werden.
• Niedrigerer WER ist nicht immer besser: Ein WER von 5 % ist rechnerisch besser als 10 %. Aber wenn die Fehler bei 5 % den Kontext stark verändern, während die bei 10 % dies nicht tun, ist das Ergebnis nicht aussagekräftig. Der Kontext bleibt entscheidend, weshalb Metriken wie SWER entwickelt wurden, um diese semantische Wirkung zu erfassen.

Im Jahr 2024 veröffentlichte Apple eine interessante Studie zum letzten Punkt. Als Menschen eine Passage mit einem WER von 9,4 % auf Lesbarkeit bewerteten, vergaben sie für denselben Text einenWER von nur 2,2 %. In diesem Beispiel empfanden Menschen viele ‘Fehler’ als unerheblich und kamen auf einen Human WER, der viermal toleranter war als der maschinelle Wert.

Branchen-Benchmarks für WER

Der ideale WER hängt stark von Branche und Anwendungsfall ab. Während <5 % als Branchenstandard gilt, benötigen medizinische oder juristische Transkriptionen oft deutlich niedrigere Werte.

In derArtificial Analysis-Studie vom Juli 2026 erzielte ElevenLabs’ Scribe v2 einen WER von 1,5 %. Allerdings werden diese Werte meist für Englisch als Hauptsprache ermittelt. STT-Technologie in anderen Sprachen kann weniger effektiv sein.

Die ElevenLabs-Dokumentation zeigt dieallgemeinen WER-Bereiche für alle Sprachen, die Scribe v1 und Scribe v2 unterstützen.

Starten Sie mit ElevenAPI, um die Erkennungsgenauigkeit zu steigern

Wenn Sie eine Anwendung oder ein Produkt entwickeln, bei dem die Transkriptionsqualität entscheidend ist, zeigt sich der Unterschied zwischen einer guten und einer mittelmäßigen ASR-API zuerst im WER – und dann im Nutzererlebnis.

ElevenLabs Scribe ist dieSpeech to Text-Schicht, die überElevenAPI zugänglich ist. Neben über 90 Sprachen und einem branchenführenden WER bietet sie Funktionen wie Sprechertrennung, Zeitstempel auf Wortebene, Keyterm-Prompting und Entitätenerkennung.

Lesen Sie dieElevenLabs-Dokumentation, um mehr über ElevenAPI zu erfahren, oder starten Sie direkt, indem Sie sichregistrieren.

Word Error Rate FAQ