Wissenschaft

Uni Siegen: Avatare sollen Gebärdensprache übersetzen

Der Datenhandschuh registriert die Fingerbewegungen bei den Gebärden. Doch in welcher Höhe die Hand gehalten wird und wie ihre Position zum Körper ist, muss dem Avatar noch zusätzlich einprogrammiert werden.

Der Datenhandschuh registriert die Fingerbewegungen bei den Gebärden. Doch in welcher Höhe die Hand gehalten wird und wie ihre Position zum Körper ist, muss dem Avatar noch zusätzlich einprogrammiert werden.

Siegen.  Die Uni Siegen nimmt an einem spannenden Projekt teil, bei dem Avatare Gebärdensprache übersetzen sollen. Bahnhöfe könnten ein Einsatzort sein.

Inhalt 
ARTIKEL AUF EINER SEITE LESEN >

Manch einer versteht nur Bahnhof, wenn wieder einmal eine quäkende Lautsprecherstimme eine kurzfristige Gleisänderung verkündet. Andere verstehen gar nichts. Sie erfahren nicht einmal, dass überhaupt eine Durchsage erfolgt ist und wundern sich höchstens, dass alle anderen Wartenden plötzlich den Bahnsteig verlassen.

Gehörlose haben es oft schwer im Alltag. Für ein wenig Erleichterung zumindest am Bahnhof wird ein Forschungsprojekt sorgen, an dem die Uni Siegen beteiligt ist: Im Oktober soll ein interaktiver Service-Bildschirm in einer U-Bahn-Station in Porto an den Start gehen, an dem sich Gehörlose in sechs Sprachen über Fahrpläne, Ticketpreise etc. informieren können.

Gebärdensprache soll digitalisiert werden

Nun dürften sich nicht gar so viele deutsche, englische oder griechische Gehörlose in einer portugiesischen U-Bahn tummeln, dass dafür sieben Partner in sechs Ländern zwei Jahre lang in einem EU-Projekt werkeln müssten.

Aber wenn es gelingt, ist das eben nur ein Beispiel, nur ein Start, um Gehörlosen das Leben zu erleichtern. „Es geht um die Digitalisierung der Gebärdensprache und um die Übersetzung von Schriftsprache in Handbewegungen und – in einem weiteren Schritt – Mimik eines Avatars“, erklärt Prof. Hubert Roth. Er leitet das Projekt für deutsche Gebärdensprache an der Uni Siegen.

Problem: Die Gebärdensprache ist nicht international

Das ist eine der Schwierigkeiten der europäischen Initiative: Die Gebärdensprache ist keineswegs international.

„Allein in Brasilien gibt es 50 unterschiedliche Dialekte, in Europa 50 verschiedene Sprachen, und selbst Österreicher und Deutsche nutzen für viele Worte unterschiedliche Gebärden“, erzählt Daniela Escobar, die als wissenschaftliche Mitarbeiterin mit der konkreten Umsetzung beschäftigt ist.

Avatar muss Mimik lernen

Die sieht so aus, dass der ­Computerfigur, dem Avatar, die Handbewegungen für 500 verschiedene Worte einprogrammiert werden (370 sind schon geschafft). Das kann direkt über Befehle am ­Bildschirm erfolgen, eleganter aber über einen Menschen, der einen Datenhandschuh mit Sensoren trägt und dessen Bewegungen von einer 3D-Kamera erfasst werden. „Im Grunde müsste man auch die gesamte Mimik mit aufnehmen“, sagt Escobar, „momentan haben wir erst sechs verschiedene ­Gesichtsausdrücke programmiert.“

Es ist mühsam. Und der Laie fragt sich, ob Textbotschaften nicht ausreichen würden. Denn zum Lesen muss man doch eigentlich nicht hören können, oder? Offenbar doch. „Die Gebärdensprache ist völlig anders strukturiert als die gesprochene“, betont Roth. „Lesen und Schreiben ist für Gehörlose so kompliziert wie das Erlernen einer Fremdsprache“, ergänzt Escobar. „Die meisten können nur langsam lesen und verstehen nur einfache Sprache.“ Besonders schwierig sei deshalb oft Behördensprache zu verstehen oder ein Medikamenten-Beipackzettel.

Lippenlesen beherrscht nur eine Minderheit

Was Hörenden allerdings bisweilen ähnlich gehen kann. Und was ist mit dem Lippenlesen? „Beherrscht nur eine kleine Minderheit“, weiß Roth. Und auch für die besteht es zu 75 Prozent aus Vermuten, erraten und die Deutung von Hinweisen aus dem Kontext.

Wenn er Gehörloser einen Fahrkartenautomaten mittels Gebärdensprache fragt, wie er wann von A nach B kommt und was die Fahrkarte kostet und der Automat ihm in Gebärensprache antwortet, ist das also schon ein großer Fortschritt. „Für den Kontext dürften 500 Worte genügen“, sagt Roth. Die müssen natürlich noch mit den relevanten Informationen verknüpft werden. Eine Aufgabe für die Robotik-Spezialisten an seinem Lehrstuhl.

Bedarf nach Hilfe im Alltag ist groß

„Wenn wir das System weiter entwickeln wollen, müssen wir natürlich mit Sprachwissenschaftlern, Gebärdendolmetschern und den Gehörlosenverbänden zusammen arbeiten“, sagt Roth. Aus der Zusammenarbeit mit Gehörlosen aus dem Siegener Raum hat sein Team erfahren, dass der Bedarf nach Hilfe im Alltag groß wäre: beim Einkaufen, bei Behörden, beim Arzt.

Das könnte das nächste Projekt werden: ein Basisprogramm für Arztbesuche. Der Förderantrag ist schon gestellt. Alle wünschen sich, dass das Projekt weiter geht. Was Daniela Escobar vorschwebt, ist eine App fürs Smartphone, die funktioniert wie ein Google-Übersetzer. Mit dem hätte sie den beiden Gehörlosen, denen sie kürzlich im Baumarkt begegnete, von ihrem Projekt erzählen können. So nicht. Hörende und Gehörlose bewegen sich in weitgehend getrennten Welten.

Avatar wird kein Dolmetscher

Und alles wird die Technik nicht lösen können, ist sich Hubert Roth sicher: „Wir werden Gebärdendolmetscher nicht durch einen Avatar ersetzen können. Die Gebärdensprache ist zu komplex, um eine fließende Diskussion in Echtzeit per Avatar darzustellen.“

Inhalt 
ARTIKEL AUF EINER SEITE LESEN >
Auch interessant
Leserkommentare (0) Kommentar schreiben
    Aus der Rubrik