Inklusion durch künstliche Intelligenz? So ermöglicht die App StorySign Vorlesen auch für gehörlose Kinder

Ihr Lieben, wenn es um Teilhabe geht, um das Mitmachen aller, wenn es um Barrieren geht, die abgebaut werden können, dann sind wir wirklich immer gern ganz vorn dabei.

So sehr unser Medienkonsum heutzutage auch oft in der Kritik steht… wenn ich höre und mitbekomme, wie sinnvoll die Medien heue auch eingesetzt werden können, dann bin ich vor allem eins: dankbar.

Ohne Internet könnte ich zum Beispiel meine Texte nicht aus dem HomeOffice heraus schreiben, könnte ich nicht nur diesen Blog Kontakt zu euch aufnehmen, könnte ich meine Kinder viel weniger sehen, weil ich nicht von überall aus arbeiten könnte. Gerade für mich als Mutter ist die digitale Weiterentwicklung also eine riesige Möglichkeit, die ich gern nutze.

Mehr Teilhabe für alle – Barrieren aus dem Weg räumen

Die Weiterentwicklung in Sachen Künstlicher Intelligenz kann aber noch viel mehr Barrieren überwinden, nicht nur die zwischen Familienleben und Job, zwischen Ländern, nein, sie kann noch viel mehr.

Wenn eine App es zum Beispiel plötzlich schafft, dass auch gehörlosen Kindern ein Vorlese-Erlebnis geschaffen werden. Mit animierten Bilderbüchern, die in Gebärdensprache erzählt werden. Genau das ist Huawei jetzt mit seiner App „StorySign“ gelungen. Gemeinsam mit Partnern aus der Gehörlosengemeinschaft wurde hier ein Produkt entwickelt, das bislang seinesgleichen sucht.

Wisst ihr, mein Opa mütterlicherseits war früher Leiter einer Gehörlosenschule, vielleicht hat es auch damit zu tun, dass es mich rührt, wenn ich sehe, was die digitale Weiterentwicklung in Sachen Inklusion erreichen kann, vielleicht braucht es aber auch gar keine persönliche Betroffenheit, um zu sehen, was hier Gutes erreicht werden kann.

Vorlese-Erlebnis für gehörlose Kinder

StorySign ist jedenfalls eine App, die gehörlose Kinder dabei unterstützt, gemeinsam mit ihren Eltern zu lesen und das Geschichtenerzählen für sie ganz neu zu erleben. Auch für Kinder, die hören können, ist das übrigens sehr interessant, weil sie ja sonst nicht so oft mit Gebärdensprache in Berührung kommen.  

Weltweit gibt es rund 32 Millionen gehörlose Kinder, für die Lesen eine große Herausforderung ist, da sich die Gebärdensprache grundlegend von der geschriebenen Sprache und von der Lautsprache unterscheidet.

Bei der Lautsprache werden Wörter nacheinander zu Sätzen geformt. In der Gebärdensprache werden in einem Zeichen gleich mehrere Informationen gleichzeitig verpackt. Außerdem kann ein schriftlicher Text nicht eins zu eins in Gebärdensprache übersetzt werden. Das macht das Lese-Erlebnis so kompliziert.

Eine Kindheit ohne Vorlesen? Unvorstellbar!

Aber nun stellt euch mal eine Kindheit ohne Bilderbücher vor! Ohne diesen fabelhaften Fantasiewelten und Geschichten. Genau hier setzt StorySign an. Sie verbindet ein Bilderbuch mit einer App, ein Seh-Erlebnis mit einem Vorlese-Erlebnis und schafft es so, etwas ganz Neues zu kreieren, neue Welten zu erschließen. Wie das funktioniert?

Nun, die künstliche Intelligenz von HUAWEI schafft es, sowohl mit Bilderkennung als auch mit optischer Zeichenerkennung, die Bild- und die Sprachwelt für gehörlose Kinder miteinander zu verknüpfen.

Die App lässt sich seit heute, 3.12.18, auf alle Android-Handys im Playstore herunterladen. Im Moment funktioniert sie in Verbindung mit dem Buch „Peter Hase – ein Guckloch-Abenteuer“ (Affiliate Link) von den S. Fischer Verlagen.

Oh, und apropos: An dieser Stelle dürfen wir Euch übrigens DREI EXEMPLARE von PETER HASE – DAS GUCKLOCH-ABENTEUER verlosen. Bitte schreibt uns dazu in den Kommentaren, was genau ihr an Handys und digitaler Weiterentwicklung toll findet bzw. wie euch diese Möglichkeiten in eurem Alltag helfen. Das Gewinnspiel endet am Freitag, den 7.12.18 um 0.59 Uhr, der Rechtsweg ist wie immer ausgeschlossen und der Gewinn nicht bar ausbezahlbar.

Die App ist jedenfalls kinderleicht und schnell eingerichtet und mit einem Klick auf das Peter Hase-Buch (weitere Bücher werden übrigens folgen) kann es auch schon losgehen.

Mit der Kamera des Handys wird die aktuelle Seite des Buches gescannt, plötzlich erscheint Feenstaub auf dem Bildschirm und eine freundliche Dame (ein Avatar mit dem Namen „Star“) erklärt in Gebärdensprache, was auf der Buch-Seite passiert.

Dabei wird auch der Buch-Text gezeigt und immer das Wort unterstrichen, um das es gerade geht. Wir begleiten das Häschen durch den Sommer, durch einen Garten voller Leckereien, durch seine Ängste vor dem Fuchs und das glückliche Ende im Hasenbau.

Die Seiten sind mit Gucklöchern und robusten Klappen kindgerecht und wirklich mit Liebe zum Detail gestaltet. Zum Tasten und Fühlen und Schauen.

StorySign von Huawei: So funktioniert die Vorlese-App für gehörlose Kinder

Die Bilderkennung der App erkennt die Wörter, die optische Zeichenerkennung sorgt gleichzeitig für eine größere Genauigkeit sorgt. Die KI, also die künstliche Intelligenz, erhöht dabei gleichzeitig die Geschwindigkeit, mit der Seiten aus dem Buch in die App geladen werden können, sodass die Kleinen nicht zu lange warten müssen, um herauszufinden, wie die Geschichte weitergeht.  

Unglaublich eigentlich. Unglaublich, aber wahr. Und so schön, weil hiermit wirklich mal alle teilhaben können. Weil Barrieren aus dem Weg geräumt werden und weil einfach mal alle etwas davon haben. Wir sind einfach mal begeistert jetzt und freuen uns über neue Bücher, die nun nach und nach in der App dazukommen werden. Für mehr Lese-Erlebnis für alle!

Jetzt aber erstmal: Viel Glück beim Gewinnspiel! Wir drücken die Daumen!

 


9 comments

  1. Für uns mit einem gehörlosen
    Für uns mit einem gehörlosen Familienmitglied ist das Handy auch unverzichtbar. Schon Nachrichten schreiben ist sehr praktisch und v.a. Facetime! Auf die App bin ich schon gespannt! Mit dem Buch könnte man jemandem hier auch eine große Freude machen. 🙂

  2. Videos
    Für uns ist die Videotelefonie ein super Fortschritt. So können unsere Söhne auch die Großeltern, die weiter weg wohnen öfter sehen.

  3. Meine Tochter (3) ist
    Meine Tochter (3) ist gehörlos geboren. Wie sind hörend. Wir lernen Gebärden, kommen aber immer wieder an unsere Grenzen. Einzelne Wörter und Sätze sind inzwischen kein Problem. Ganze Geschichten sind nach wie vor schwer. Natürlich ersetzt eine App nicht das Vor“gebärden“ , ist aber ein weiterer Zugang zur Gebärdensprache für das Kind und auch für uns als Eltern.

  4. Wie schön, dass ihr euch
    Wie schön, dass ihr euch diesem Thema annehmt. 🙂 Peter Hase begleitet meine Kindheit und sicherlich auch die meiner Kinder. Freuen würden wir uns sehr über das Buch. LG

  5. Auch ich arbeite mit Kindern,
    Auch ich arbeite mit Kindern, die eine Hörminderung haben und/ oder bilingual (teilweise mit tauben Eltern) aufwachsen. Ich nutze viele entsprechende Apps, da es für gebärdensprachlich aufwachsende Kinder kaum gute Texte gibt. Deshalb würde ich das Buch sehr gerne ausprobieren und auch mich würde interessieren, wie die Mimik von der KI umgesetzt wird. Sie ist in den Gebärdensprachen nämlich kein Beiwerk, sondern trägt grammatikalische/ lexikalische Bedeutung.

  6. Spannend
    Ein wichtiges Thema. Gerade Gehörlosen sieht man die Behinderung nicht auf den ersten Blick an, was häufig zu unangenehmen Situationen führen kann.
    Deshalb finde ich es wichtig Kinder für das Thema zu sensibilisieren.

  7. Als Mama eines u.a. tauben
    Als Mama eines u.a. tauben Kindes (inzwischen mit CIs versorgt, aber bisher keine altersgerechte lautsprachliche Entwicklung), die sich einen Hausgebärdensprachkurs hart vor Gericht erkämpfen musste, damit eine vollständige Kommunikation mit meinem Sohn überhaupt erst möglich wird, bin ich skeptisch. Die DGS lebt von der ausdrucksstarken Mimik beim Gebärden. Ob KI das tatsächlich schon kann??? Ich würde mir das gern ansehen und es testen! Wenn ich noch etwas anmerken darf für den Text: es heißt immer „Gebärden“ und nicht „Zeichen“ 😉
    LG

  8. Wow!
    Als Hörgeschädigtenpädagogin und Mama eines bilderbuchverrückten Sohnes finde ich diese App superspannend! Wir würden uns riesig darüber freuen!

  9. Peter Hase
    An Handys und digitaler Weiterentwicklung finde ich die immer neuen Möglichkeiten, die sich daraus ergeben toll. Angefangen über die mobile Erreichbarkeit über Fotos die mit Freunden und Verwandten verschickt werden können bis hin zu kleinen Uhren die uns per Spracherkennung den Weg weisen. Das Thema künstliche Intelligenz ist auch sehr spannend.
    Und Peter Hase lieben wir sehr und würden uns wahnsinnig freuen 🙂
    Liebe Grüße

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert