Als je een Gen AI-model zou vragen om de songtekst te schrijven voor een nummer zoals de Beatles dat zouden hebben gedaan en als het indrukwekkend werk deed, dan is daar een reden voor. Of als je een model hebt gevraagd proza te schrijven in de stijl van je favoriete auteur en het model de stijl nauwkeurig heeft overgenomen, dan is daar een reden voor.
Zelfs als u zich in een ander land bevindt en de naam wilt vertalen van een interessant tussendoortje dat u in het gangpad van de supermarkt vindt, detecteert uw smartphone labels en vertaalt de tekst naadloos.
AI staat aan de basis van al dit soort mogelijkheden en dit komt vooral omdat AI-modellen getraind zouden zijn op grote hoeveelheden van dergelijke data – in ons geval honderden nummers van The Beatles en waarschijnlijk boeken van je favoriete schrijver.
Met de opkomst van generatieve AI is iedereen een muzikant, schrijver, kunstenaar of alles ervan. Gen AI-modellen produceren binnen enkele seconden op maat gemaakte kunstwerken, afhankelijk van de aanwijzingen van de gebruiker. Ze kunnen creëren Van Gogh-achtig kunstwerken en laat Al Pacino zelfs de Servicevoorwaarden voorlezen zonder dat hij erbij is.
Afgezien van de fascinatie is het belangrijkste aspect hier ethiek. Is het eerlijk dat dergelijke creatieve werken zijn gebruikt om AI-modellen te trainen, die geleidelijk kunstenaars proberen te vervangen? Is er toestemming verkregen van eigenaren van dergelijke intellectuele eigendommen? Werden ze eerlijk gecompenseerd?
Welkom in 2024: het jaar van de dataoorlogen
De afgelopen jaren zijn data verder uitgegroeid tot een magneet die de aandacht van bedrijven trekt om hun Gen AI-modellen te trainen. Net als een kind zijn AI-modellen naïef. Ze moeten worden onderwezen en vervolgens worden opgeleid. Daarom hebben bedrijven miljarden, zo niet miljoenen gegevens nodig om modellen kunstmatig te trainen om mensen na te bootsen.
GPT-3 werd bijvoorbeeld getraind op miljarden (honderden) tokens, wat zich vrij vertaald in woorden vertaalt. Uit bronnen blijkt echter dat biljoenen van dergelijke tokens werden gebruikt om de recentere modellen te trainen.
Waar moeten de grote technologiebedrijven heen als er zulke gigantische hoeveelheden trainingsdatasets nodig zijn?
Acuut tekort aan trainingsgegevens
Ambitie en volume gaan hand in hand. Naarmate bedrijven hun modellen opschalen en optimaliseren, hebben ze nog meer trainingsgegevens nodig. Dit zou kunnen voortkomen uit de vraag om volgende modellen van GPT te onthullen of eenvoudigweg verbeterde en precieze resultaten te leveren.
Hoe het ook zij, het is onvermijdelijk dat er overvloedige trainingsgegevens nodig zijn.
Dit is waar ondernemingen voor het eerste obstakel komen te staan. Simpel gezegd: het internet wordt te klein voor AI-modellen om op te trainen. Dit betekent dat bedrijven bijna geen bestaande datasets meer hebben om hun modellen te voeden en te trainen.
Deze uitputtende hulpbron jaagt belanghebbenden en technologieliefhebbers angst aan, omdat het mogelijk de ontwikkeling en evolutie van AI-modellen zou kunnen beperken, die meestal nauw verbonden zijn met de manier waarop merken hun producten positioneren en hoe sommige plagerige zorgen in de wereld worden gezien als te worden aangepakt met AI-gestuurde oplossingen. oplossingen.
Tegelijkertijd is er ook hoop in de vorm van synthetische data of digitale inteelt zoals wij dat noemen. In termen van leken zijn synthetische gegevens de trainingsgegevens die door AI worden gegenereerd en die opnieuw worden gebruikt om modellen te trainen.
Hoewel het veelbelovend klinkt, geloven technische experts dat de synthese van dergelijke trainingsgegevens zou leiden tot wat Habsburgse AI wordt genoemd. Dit is een grote zorg voor bedrijven, omdat dergelijke ingeteelde datasets feitelijke fouten of vooringenomenheid kunnen bevatten of gewoon wartaal kunnen zijn, waardoor de resultaten van AI-modellen negatief kunnen worden beïnvloed.
Beschouw dit als een spelletje Chinees Whisper, maar de enige wending is dat het eerste woord dat wordt doorgegeven misschien ook zinloos is.
De race naar het verkrijgen van AI-trainingsgegevens
Een van de grootste fotoopslagplaatsen – Shutterstock heeft 300 miljoen afbeeldingen. Hoewel dit voldoende is om aan de slag te gaan met training, testen, valideren en optimaliseren zijn opnieuw overvloedige gegevens nodig.
Er zijn echter ook andere bronnen beschikbaar. De enige vangst hier is dat ze een grijze kleurcode hebben. We hebben het over de publiekelijk beschikbare gegevens van internet. Hier zijn enkele intrigerende feiten:
- Elke dag worden er meer dan 7.5 miljoen blogposts live geplaatst
- Er zijn meer dan 5.4 miljard mensen op sociale mediaplatforms zoals Instagram, X, Snapchat, TikTok en meer.
- Er zijn ruim 1.8 miljard websites op internet.
- Alleen al op YouTube worden dagelijks ruim 3.7 miljoen video's geüpload.
Bovendien delen mensen publiekelijk teksten, video's, foto's en zelfs inhoudelijke expertise via podcasts die alleen audio bevatten.
Dit zijn expliciet beschikbare stukjes inhoud.
Het moet dus eerlijk zijn om ze te gebruiken om AI-modellen te trainen, toch?
Dit is het grijze gebied dat we eerder noemden. Er is geen eenduidige mening over deze vraag, aangezien technologiebedrijven met toegang tot zulke overvloedige hoeveelheden gegevens nieuwe instrumenten en beleidswijzigingen bedenken om aan deze behoefte tegemoet te komen.
Sommige tools zetten audio van YouTube-video's om in tekst en gebruiken deze vervolgens als tokens voor trainingsdoeleinden. Bedrijven herzien het privacybeleid en gaan zelfs zover dat ze openbare gegevens gebruiken om modellen te trainen met een vooraf bepaalde intentie om rechtszaken het hoofd te bieden.
Tegenmechanismen
Tegelijkertijd ontwikkelen bedrijven ook zogenaamde synthetische data, waarbij AI-modellen teksten genereren die opnieuw kunnen worden gebruikt om de modellen als een lus te trainen.
Aan de andere kant, om het schrappen van data tegen te gaan en te voorkomen dat bedrijven de mazen in de wetgeving misbruiken, implementeren websites plug-ins en codes om data-scaping-bots te beperken.
Wat is de ultieme oplossing?
De implicatie van AI bij het oplossen van problemen in de echte wereld wordt altijd ondersteund door nobele bedoelingen. Waarom moet het sourcen van datasets om dergelijke modellen te trainen dan afhankelijk zijn van grijze modellen?
Naarmate gesprekken en debatten over verantwoordelijke, ethische en aansprakelijkheids-AI aan bekendheid en kracht winnen, is het aan bedrijven van alle schaalniveaus om over te schakelen naar alternatieve bronnen die white-hat-technieken gebruiken om trainingsgegevens te leveren.
Dit is waar Shaip blinkt uit in. Shaip begrijpt de heersende zorgen rond datasourcing, heeft altijd gepleit voor ethische technieken en heeft consequent verfijnde en geoptimaliseerde methoden toegepast om gegevens uit diverse bronnen te verzamelen en samen te stellen.
White Hat-gegevenssets Sourcing-methodologieën
Dit is precies de reden waarom onze modus operandi nauwgezette kwaliteitscontroles en technieken omvat om relevante datasets te identificeren en samen te stellen. Hierdoor hebben we bedrijven kunnen voorzien van exclusieve Gen AI-trainingsdatasets in meerdere formaten, zoals afbeeldingen, video's, audio, tekst en meer nichevereisten.
Onze filosofie
We werken op basis van kernfilosofieën zoals toestemming, privacy en eerlijkheid bij het verzamelen van datasets. Onze aanpak garandeert ook diversiteit in gegevens, zodat er geen onbewuste vooroordelen worden geïntroduceerd.
Terwijl het AI-rijk zich opmaakt voor het aanbreken van een nieuw tijdperk dat wordt gekenmerkt door eerlijke praktijken, willen wij bij Shaip de vaandeldragers en voorlopers van dergelijke ideologieën zijn. Als u ongetwijfeld eerlijke en hoogwaardige datasets zoekt om uw AI-modellen te trainen, neem dan vandaag nog contact met ons op.
