In een land met zo'n grote culturele diversiteit en rijke taalkundige diversiteit als India, begint het bouwen van inclusieve AI met het verzamelen van representatieve datasets van hoge kwaliteit. Dat is de visie achter Project Vaani – een grootschalig open-source initiatief onder leiding van ARTPARK , IISc Bengaluru en Google , dat tot doel heeft elke Indiase taal en elk dialect een stem te geven.
Het ambitieuze doel? Meer dan 150,000 uur aan gesproken woord en meer dan 15,000 uur aan transcripties verzamelen van 1 miljoen mensen in 773 districten van India.
Als een van de belangrijkste leveranciers voor deze nationale missie speelde Shaip een cruciale rol in het verzamelen van spontane spraakgegevens, transcripties en metadata. Hiermee werd de basis gelegd voor rechtvaardige spraaktechnologieën die het echte India weerspiegelen.
De visie achter Project Vaani
Project Vaani is ontworpen om de kloof in AI-inclusie te overbruggen door de grootste multimodale, meertalige, open-source dataset in India te creëren. Deze data vormt de basis voor de ontwikkeling van nauwkeurige spraakherkenning, vertaling en generatieve AI-systemen in inheemse Indiase talen – waarvan vele ondervertegenwoordigd zijn in de wereldwijde technologie-ecosystemen.
De visie op de lange termijn is om impactvolle toepassingen te realiseren in:
- Gezondheidszorg – Stemgebaseerde telegeneeskunde
- Educatie – Platformen voor het leren in de volkstaal
- Bestuur – Conversatie-interfaces voor burgerdiensten
- Toegankelijkheid – Spraakhulpmiddelen voor gebruikers met een beperking
- Reactie op rampen – Realtimecommunicatie in lokale dialecten
Hoe Shaip hielp bij het opbouwen van India's grootste open-source spraakdataset voor Project Vaani
Shaip kreeg de opdracht om 8,000 uur aan spontane spraak en 800 uur aan handmatig gecontroleerde transcripties te verzamelen . Onze verantwoordelijkheden omvatten het werven van sprekers, het opnemen van audio, het toevoegen van metadata, het coördineren van de transcripties en de kwaliteitscontrole.
8,000 uur aan spontaan opgenomen audiogegevens
Opnames van meer dan 400 moedertaalsprekers per district, afkomstig uit diverse leeftijdsgroepen, geslachten en dialecten.
80 districten, gedekt
Beeldgestuurde aanwijzingen om natuurlijke, contextuele spraak te garanderen.
Dit maakt onze aanpak uniek:
Diversiteit op districtsniveau
We hebben opnames verzameld uit 80 districten verspreid over staten zoals Bihar, Uttar Pradesh, Karnataka, West-Bengalen en Maharashtra. Elk district leverde 100 uur aan audiodata, wat zorgde voor een regionale balans. We hebben native speakers ingeschakeld om regionale accenten en dialecten te vertegenwoordigen die vaak over het hoofd worden gezien in gangbare AI-datasets.
Taalkundige en demografische representatie
We hebben opnames verzameld uit 80 districten verspreid over staten zoals Bihar, Uttar Pradesh, Karnataka, West-Bengalen en Maharashtra. Elk district leverde 100 uur aan audiodata, wat zorgde voor een regionale balans. We hebben native speakers ingeschakeld om regionale accenten en dialecten te vertegenwoordigen die vaak over het hoofd worden gezien in gangbare AI-datasets.
Beeldgestuurde spraak
Om de spontane en natuurlijke woordenschat te stimuleren, kregen de deelnemers per sessie 45 tot 90 afbeeldingen te zien en werd hen gevraagd deze te beschrijven. Deelnemers werden aangezet om met behulp van diverse afbeeldingen – van culturele symbolen tot alledaagse voorwerpen – natuurlijke, spontane reacties in hun moedertaal op te roepen. Dit zorgde ervoor dat de opnames een realistische, contextuele spraak weerspiegelden – essentieel voor het trainen van geavanceerde NLP-systemen.
Hoogwaardige transcriptienormen
Slechts 10% van de spraakgegevens werd getranscribeerd, wat neerkomt op 800 uur. De transcripties werden uitgevoerd door lokale taalkundigen binnen een straal van 20 tot 50 km van de spreker, waardoor bekendheid met dialecten en nuances werd gegarandeerd. Een tweede controle zorgde voor een woordfoutenpercentage (WER) van <5%.
Strikte kwaliteitsborging
Audiogegevens moesten aan hoge eisen voldoen: geen achtergrondgeluiden, echo's, telefoontrillingen of vervormingen. De audio werd opgenomen in een stille, echovrije omgeving. Bestanden werden grondig gecontroleerd op richtlijnen voor spraakverstaanbaarheid, ruisniveaus, nauwkeurigheid van metadata en sprekerverificatie. De metadata-tags moesten in alle bestanden nauwkeurig zijn en alle opnames werden gecontroleerd op spreker- en locatie-uitlijning.
Uitdagingen die we hebben opgelost
- Logistiek op afstand – Het managen van teams in 80 districten
- Sprekersdiversiteit – Onboarding van meer dan 32,000 geverifieerde sprekers op afgelegen locaties
- Culturele gevoeligheid – Respect voor lokale gebruiken en dialecten
- Data-integriteit – Voldoen aan kwaliteits- en nalevingsnormen
- Kwaliteitscontrole – in meerdere taalkundige en culturele contexten
Ons succes was te danken aan nauwgezette planning, technologiegedreven validatie en partnerschappen met lokale teams die de culturele nuances van elke regio begrepen.
Impact en toepassingen
Shaips bijdrage heeft niet alleen de voortgang van Project Vaani versneld, maar ook de basis gelegd voor inclusieve AI in India. De samengestelde spraakdataset wordt al gebruikt om AI-modellen te bouwen en te verfijnen voor:
- Vernacular spraakassistenten
- Regionale vertaalmachines
- Toegankelijke communicatiemiddelen voor slechtzienden
- AI-gestuurde edtech-platforms voor plattelandsstudenten
- Telegeneeskunde op het platteland
- Stemgebaseerde burgerdiensten
- Realtime vertaling en transcriptie
Conclusie
Project Vaani is een gedurfde stap richting inclusieve, toegankelijke AI – en Shaip is vereerd om hierin een fundamentele rol te spelen. Shaips werk aan Project Vaani bevestigt onze toewijding aan het bouwen van ethische, inclusieve AI-systemen die geworteld zijn in diversiteit en representatie. Met meer dan 8,000 uur aan opgenomen gesprekken en 800 uur aan getranscribeerde gesprekken, zijn we er trots op een bijdrage te hebben geleverd aan een van India's meest visionaire projecten voor digitale inclusie.
Terwijl Project Vaani doorgaat met het behalen van zijn grotere doel van meer dan 150,000 uur aan data, staan we klaar om de volgende stap in AI-innovatie te ondersteunen die voor alle Indiërs interessant is.
Wil je met ons samenwerken om AI te ontwikkelen die de echte wereld begrijpt? Ga naar www.shaip.com
