Bei einer Suche darf das Senden automatisch passieren. Vor einer Reservierung zeigt Leihregal dagegen eine sichtbare Bestätigung, besonders wenn Zahlen oder Namen falsch erkannt sein könnten: „Mikro M2 für Samstag reservieren?“ Ein Tipp, und der Helfer sieht, ob die Maschine M2 oder M3 verstanden hat. Korrigieren muss dabei genauso leicht gehen wie Bestätigen.
Multimodale Modelle
Wenn die Originalaufnahme wichtig bleibt
Nach der Spracherkennung bleibt vom Gesagten nur der Satz. War der Helfer unsicher? Lief im Hintergrund Musik? Welches Wort war kaum hörbar? Die Textnachricht allein enthält diese Hinweise nicht mehr.
Ein multimodales Modell kann neben Text weitere Eingaben verarbeiten, etwa Audio, Bilder oder Video, je nachdem, was das konkrete Modell und seine API unterstützen. Bei einem Modell mit Audioeingang kann Leihregal ihm die Aufnahme geben und eine Aufgabe dazu:
„Schreibe die Aufnahme wörtlich auf. Markiere schwer verständliche Wörter und nenne mögliche Alternativen. Wenn du unsicher bist, sage das.“
Das Modell kann eine Transkription liefern und Hinweise zur Aufnahme formulieren. Es garantiert damit keine bessere Worterkennung als ein spezialisiertes Speech-to-Text-System. Beide nutzen Kontext; welches besser transkribiert, zeigt nur ein Test mit eigenen Aufnahmen. Kapitel 9 lässt grüßen.