Lancering grootste open-source handbibliotheek om AI te helpen gebarentaal te leren

Technologie heeft een revolutie teweeggebracht in de manier waarop we communiceren, onder andere door barrières tussen talen weg te nemen. Hierdoor is er meer verbinding en begrip mogelijk, wat uiteindelijk leidt tot meer inclusie. Vandaag lanceert de American Society for Deaf Children (ASDC) in samenwerking met Hello Monday/DEPT®, GiveAHand.ai, ‘s werelds grootste open-source beeldbank van handen – volledig getagd met data om betere handmodellen te bouwen.

Live audiotranscriptie en verhaaltools hebben beperkingen voor doven en slechthorenden vanwege de complexe combinatie van snelle handgebaren, gezichtsuitdrukkingen en volledige lichaamsbeweging die bij gebarentaal komt kijken. Hoewel modellen voor machine learning de gezichtsuitdrukkingen en lichaamsbeweging vaak goed kunnen verwerken, blijft het detecteren van hand- en vingerbewegingen een uitdaging. AI maakt de toegang tot gegevens gemakkelijk, zodat data op oneindig veel manieren kunnen worden gebruikt. Omdat de meeste beschikbare gebarentaaltools worden getraind met bestaande gegevens en beelden, is het moeilijk om bruikbare modellen voor machine learning te bouwen op basis van bronnen die niet direct toegankelijk zijn.

GiveAHand.ai gebruikt technologie om impact te maken. De 100% gecrowdsourcete data vormt een diverse dataset van handen met verschillende vormen, kleuren, achtergronden en gebaren. Iedereen kan diens handen uit de mouwen steken en beelden uploaden om aan een uitgebreide beeldbank te bouwen. Onderzoekers kunnen deze getagde beelden downloaden en gebruiken om hun modellen voor machine learning te verbeteren. Hierdoor wordt de herkenning en vertaling van het volledige spectrum van gebarentaal mogelijk.

“Het is spannend om te zien welke potentie dit platform heeft in het bouwen van betere, meer gevarieerde modellen voor de gebarentaalgemeenschap. Dit project bewijst hoe je tech kan inzetten om vooruitgang en inclusie te bereiken,” zegt Cheri Dowling, executive director van American Society for Deaf Children. “We willen iedereen vragen hieraan bij te dragen door ons – letterlijk – een hand te geven.”

GiveAHand.ai is de tweede samenwerking tussen Hello Monday/DEPT® en ASDC. In 2021 lanceerden ze Fingerspelling.xyz: een hand tracking-experience die gebruik maakt van machine learning om te helpen bij het leren van het gebarentaalalfabet. Momenteel zijn er meer dan 5,1 miljoen correcte handtekens geregistreerd en de ASDC gebruikt Fingerspelling.xyz nu als onderdeel van hun eigen trainingsmateriaal.

“Het voelt magisch om onze liefde voor technologie te kunnen combineren met onze wens om een betere wereld te maken waarin iedereen toegang heeft tot dezelfde taalhulpmiddelen. We hebben zin om deze dataset op te bouwen en hiermee bij te dragen aan de vooruitgang van AI – zodat we kunnen helpen bij het overbruggen van de communicatiebarrière tussen dove en horende mensen,” zegt Anders Jessen, CEO en oprichter van Hello Monday/DEPT®.

Om de handbeeldbank te verkennen en bij te dragen, kan je GiveAHand.ai bezoeken.

Credits

Hello Monday/DEPT®
Strategie: Claudi Potter
Creatives: Casper Holden, Joao de Almedia
Creative director: Anders Sønderby Jessen