Gelicenseerde tekstdatasets voor LLM- en AI-training
Licentieer kant-en-klare tekstcorpora voor LLM-, NLP- en generatieve AI-training — conversatie-vraag-en-antwoord, code, nieuws, klinische, academische en meertalige data, afgestemd op uw project.
Gelicentieerde tekstdatasets voor LLM- en NLP-trainingen
De tekstdatacatalogus van Shaip biedt AI-teams kant-en-klare tekstdatasets voor het trainen, finetunen en evalueren van grote taalmodellen (LLM's) en NLP-systemen. De catalogus omvat acht categorieën. Elke dataset is afkomstig uit de praktijk en kan worden aangepast aan uw project.
De catalogus bevat datasets met vraag-en-antwoordgesprekken en instructies in het Engels en Arabisch, inclusief Modern Standaard Arabisch en Saoedische, Emirati, Egyptische en Levantijnse dialecten. Ook zijn er datasets met code-repositories in negen programmeertalen, waarvan sommige een volledige geschiedenis van pull-requests en commits bevatten. Voor modellen voor actuele gebeurtenissen en RAG (Relationship, Awareness, Growth) zijn er nieuwsdatasets in het Engels, Spaans en Arabisch, waaronder een archief van 975,000 artikelen dat teruggaat tot 1999. AI-teams in de gezondheidszorg kunnen gebruikmaken van datasets met klinische vraag-en-antwoordgesprekken en casussen , beschikbaar als gouden en zilveren sets, waarbij de identiteit van de betrokkenen is geanonimiseerd.
Voor de voorbereidende training zijn er ruwe tekstcorpora en web-schaalcorpora beschikbaar , waaronder een Arabisch corpus van 20 miljoen woorden. Corpora met gescande documenten ondersteunen document-AI en informatie-extractie. Academische teksten en teksten van uitgevers bestrijken twaalf wetenschappelijke en technische onderwerpen, en scripted entertainmentteksten omvatten film, tv, animatie en microdrama's.
Elke dataset wordt geleverd met duidelijke licentievoorwaarden en een kwaliteitscontrole. Er zijn voorbeelden beschikbaar, zodat u een dataset kunt evalueren voordat u deze aanschaft. Blader door een categorie hieronder of neem contact met ons op om de mogelijkheden voor het verzamelen van tekstdata op maat te bespreken.
Datasets voor vraag- en antwoordsessies en instructies in gespreksvorm
Deze datasets bevatten door mensen geschreven vraag-antwoordparen en instructieachtige prompts in het Arabisch en Engels, variërend van Modern Standaard Arabisch tot Saoedische, Emirati, Egyptische en Levantijnse dialecten. Domeinspecifieke datasets omvatten STEM, voeding en landbouw. Ze ondersteunen het afstemmen, verfijnen en evalueren van taalmodellen waarbij regionale dialectdekking en cultureel verankerde kennis van belang zijn.
Datasets van code- en softwarerepositories
Productiecodebases afkomstig van daadwerkelijk uitgebrachte software in C#, React, TypeScript, Angular, Java, Go, PHP, Swift en BrightScript. Verschillende items bevatten een volledige pull-request- en commitgeschiedenis, die laat zien hoe de code tijdens het beoordelingsproces is gewijzigd. Ze ondersteunen codeaanvulling, codegeneratie, codebegrip en training van codebeoordelingsmodellen, en repositories zijn beschikbaar voor evaluatie voorafgaand aan de licentieverlening.
Nieuws- en journalistieke tekstdatasets
Professioneel geschreven en bewerkte nieuwsartikelen van een grote internationale nieuwsorganisatie, beschikbaar als terugkerende feed in het Engels, Spaans en Arabisch, en als een archiefcorpus van 975,000 artikelen die sinds 1999 zijn gepubliceerd. Elk artikel bevat tags voor auteur, datum, kop, inhoud en onderwerp. Ze zijn geschikt voor het trainen van modellen voor actuele gebeurtenissen, het genereren van informatie met behulp van retrieval-augmentatie en taken op het gebied van temporeel redeneren.
Klinische vraag- en antwoordsessies en casusdatasets
Medische vraag-antwoordsets, samenvattingen van klinische casussen en volledige medische artikelen voor de training en evaluatie van zorggerichte modellen. Er zijn gouden en zilveren datasets beschikbaar, waarbij de gouden datasets zijn voorbereid volgens een hogere beoordelingsnorm voor benchmarking. Indien bronmateriaal persoonsgegevens of beschermde gezondheidsinformatie bevat, worden redactie, anonimisering en maskering in de overeenkomst opgenomen.
Ruwe tekst en web-schaal corpora
Grootschalige corpora met ruwe tekst, prompts en tekst-naar-spraakscripts, die Modern Standaard Arabisch en regionale dialecten omvatten, waaronder een corpus van 20 miljoen woorden. Deze corpora ondersteunen de voorbereiding van taalmodellen en de uitbreiding van de woordenschat en dialectdekking in modellen die Modern Standaard Arabisch goed aankunnen, maar slecht presteren bij gesproken regionale varianten.
Documenten en gescande tekstcorpora
Gescande documenten en gestructureerde formulieren uit de praktijk worden als PDF's aangeleverd, met authentieke lay-outs en scankwaliteit in plaats van synthetische weergaven. Ze ondersteunen document-AI, OCR-achtige natuurlijke taalverwerking en informatie-extractie, met name voor het begrijpen van sleutel-waardeparen en tabellen in documenten, waarbij de lay-out net zo belangrijk is als de tekst zelf.
Tekstdatasets van academici en uitgevers
Volledige boeken en tijdschriftartikelen, gelicentieerd door een academische uitgever en beschikbaar via een API, bestrijken twaalf vakgebieden binnen de natuurwetenschappen en techniek: astronomie, biomedische wetenschappen, civiele techniek, elektrotechniek en elektronica, energie, industriële wetenschappen, materiaalkunde, werktuigbouwkunde, nanotechnologie, natuurkunde, polymeerwetenschappen en veiligheidsmanagement. Ze zijn geschikt voor wetenschappelijke en technische voorbereiding en het opzoeken van peer-reviewed bronmateriaal.
Gescript entertainment & verhalende tekst
Productiescripts, transcripten en narratieve teksten afkomstig uit een grote catalogus van scripted entertainment, variërend van speelfilms, televisieprogramma's, animatie en verticale microdrama's, in de genres drama, komedie, sciencefiction, western, actie, mysterie, romantiek, thriller en religie. Ze ondersteunen het genereren van verhaal en dialogen, het modelleren van scenarioformaten en het afstemmen van script op scènes.
Veel gestelde vragen (FAQ)
1. Wat zijn tekstdatasets voor AI-training?
Tekstdatasets voor AI-training zijn samengestelde collecties van geschreven taal, zoals vraag-antwoordparen, instructies, artikelen, code, medische dossiers, boeken en scripts, die worden gebruikt om grote taalmodellen (LLM's) en NLP-systemen te trainen, te verfijnen en te evalueren. De tekstdatacatalogus van Shaip biedt kant-en-klare datasets in acht categorieën, die elk afkomstig zijn uit de praktijk.
2. Welke soorten tekstdatasets biedt Shaip aan?
De catalogus omvat acht categorieën: vraag-en-antwoord- en instructiedatasets, code- en softwaredatasets, nieuws- en journalistieke teksten, klinische vraag-en-antwoord- en casusdatasets, ruwe tekst en web-schaalcorpora, gescande documentcorpora, academische en uitgeversteksten, en scripted entertainment- en verhalende teksten.
3. Welke talen en dialecten worden behandeld?
De datasets zijn beschikbaar in het Engels, Arabisch en Spaans. De Arabische datasets omvatten Modern Standaard Arabisch, evenals Saoedische, Emirati, Egyptische en Levantijnse dialecten. Dit is handig voor modellen die Modern Standaard Arabisch goed aankunnen, maar moeite hebben met gesproken regionale varianten.
4. Welke AI-toepassingen worden door deze datasets ondersteund?
Veelvoorkomende toepassingen zijn onder andere LLM-pretraining, instructie-tuning en fine-tuning, model-evaluatie en benchmarking, retrieval-augmented generation (RAG), code-completion en code-review, AI in de gezondheidszorg, document-AI en informatie-extractie, en het genereren van dialogen en scenario's.
5. Kan ik een dataset evalueren voordat ik er een licentie voor aanschaf?
Ja. U kunt samples of toegang tot een evaluatiedataset aanvragen voordat u een dataset in licentie neemt, zodat uw team de geschiktheid, het formaat en de kwaliteit kan controleren. Neem contact met ons op en deel uw use case om een sample uit de relevante categorie aan te vragen.
6. Hoe worden gevoelige gegevens zoals persoonsgegevens en medische gegevens behandeld?
Wanneer bronmateriaal persoonsgegevens of beschermde gezondheidsinformatie bevat, zoals klinische gegevens, worden het anonimiseren, onherkenbaar maken en maskeren van de gegevens onderdeel van de overeenkomst, zodat de gegevens voldoen aan uw privacy- en compliance-eisen.
7. Wat is het verschil tussen gouden en zilveren datasets?
Gouden datasets worden volgens een hogere beoordelingsstandaard voorbereid en zijn het meest geschikt voor benchmarking en evaluatie. Zilveren datasets ondergaan een standaardbeoordeling en zijn zeer geschikt voor grootschalige trainingen waarbij volume belangrijker is.
8. Kunnen de datasets worden aangepast of uitgebreid?
Ja. Datasets kunnen worden afgestemd op uw project op basis van taal, domein, volume of formaat. Als de catalogus niet de gegevens bevat die u nodig heeft, kan Shaip aangepaste tekstgegevens verzamelen en annoteren volgens uw specificaties.
9. Welke licentieopties zijn er beschikbaar?
De licentieverlening is afgestemd op elke specifieke opdracht, op basis van de dataset, het volume, het beoogde gebruik en de duur. Sommige datasets, zoals nieuwscontent, zijn beschikbaar als een terugkerende feed en als een eenmalig archiefbestand.
10. Hoe worden de datasets aangeleverd?
De leveringsmethode is afhankelijk van de dataset. Opties zijn onder andere gestructureerde bestanden, PDF's voor gescande documenten, terugkerende feeds voor nieuws en API-levering voor academische en uitgeverscontent. Het leveringsformaat kan worden afgestemd op uw trainingspipeline.
11. Hoeveel kosten tekstdatasets?
De prijs is afhankelijk van de categorie, het volume, de exclusiviteit en de licentievoorwaarden. Deel uw wensen met ons team voor een offerte op maat voor uw project.
12. Hoe begin ik eraan?
Blader door de categorie die overeenkomt met uw gebruikssituatie en neem vervolgens contact op met Shaip om uw wensen te bespreken. Ons team zal u details over de dataset verstrekken, voorbeelden regelen en een licentie voor uw project samenstellen.
