Op 24 juli 2024 onthulde een studie gepubliceerd in het tijdschrift Nature een alarmerend fenomeen op het gebied van kunstmatige intelligentie: "model collapse". Deze term beschrijft het degeneratieve proces waarbij generatieve modellen, zoals grote taalmodellen (LLM's), het vermogen verliezen om de oorspronkelijke datadistributie correct weer te geven nadat ze herhaaldelijk zijn getraind met data die door eerdere modellen zijn gegenereerd. Dit fenomeen kan aanzienlijke gevolgen hebben voor de kwaliteit en nauwkeurigheid van content die door deze modellen wordt gegenereerd. IA in de toekomst.
Taalmodelrevolutie
Taalmodellen zoals GPT-4, Llama 3.1 en Claude 3.1 hebben indrukwekkende prestaties geleverd bij diverse taken met natuurlijke taal en zijn in veel toepassingen essentieel geworden. ChatGPT heeft bijvoorbeeld het gebruik van taalmodellen en generatieve AI gepopulariseerd, wat duidelijk maakt dat deze technologie niet meer weg te denken is. Omdat deze modellen echter bijdragen aan de productie van steeds meer online tekst, rijst er een cruciale vraag: wat gebeurt er wanneer modellen voornamelijk worden getraind met data die door andere modellen wordt gegenereerd?
Het model-instortingsprobleem
Uit het onderzoek blijkt dat het onzorgvuldig gebruik van door modellen gegenereerde content om nieuwe generaties AI te trainen, onomkeerbare fouten veroorzaakt. Modellen beginnen de oorspronkelijke dataverdeling te vergeten, waardoor de uiteinden van de verdeling geleidelijk verdwijnen. Dit resulteert in een steeds meer vertekende weergave van de werkelijkheid. Deze modelverval is niet exclusief voor LLM's, maar is ook waargenomen bij andere typen modellen.
Implicaties en oplossingen
De resultaten geven aan dat het behoud van authentieke, door mensen gegenereerde data cruciaal is voor het behoud van de kwaliteit van AI-modellen. Bij taken waarbij gebeurtenissen met een lage waarschijnlijkheid van belang zijn, zoals het begrijpen van gemarginaliseerde groepen of complexe systemen, kan het verlies van deze staarten bijzonder nadelig zijn. Daarom is het essentieel dat toekomstige generaties taalmodellen worden getraind met continue toegang tot authentieke, niet door AI gegenereerde data.
Een blik in de toekomst
De AI-gemeenschap moet deze uitdaging dringend aanpakken. Een mogelijke oplossing is om de herkomst van door AI gegenereerde data te volgen en ervoor te zorgen dat een aanzienlijk deel van de data uit de praktijk wordt gebruikt voor training. Zonder deze coördinatie zouden we te maken kunnen krijgen met een scenario waarin nieuwe modellen steeds verder van de werkelijkheid af komen te staan, wat het vertrouwen in en de effectiviteit van AI-gebaseerde toepassingen in gevaar brengt.
Conclusie
De ineenstorting van het model herinnert ons eraan dat AI weliswaar de potentie heeft om de contentcreatie en andere sectoren te revolutioneren, maar dat het cruciaal is om een evenwicht te bewaren tussen innovatie en het behoud van datakwaliteit. Op de lange termijn zal het succes van taalmodellen afhangen van ons vermogen om echte data duurzaam te integreren, zodat AI de complexiteit van de echte wereld accuraat blijft weerspiegelen.
