Fietje is een baanbrekend klein Nederlands AI-model, ontwikkeld door Bram Vanroy, een onderzoeker verbonden aan de Belgische universiteit KU Leuven. Dit model illustreert een significante stap voorwaarts in het domein van AI door een taalspecifiek model te bieden dat niet alleen op krachtige servers maar ook op kleinschaligere hardware zoals smartphones en Raspberry PI's kan functioneren. Het unieke van Fietje ligt in zijn specialisatie in de Nederlandse taal, waardoor het bijzonder geschikt is voor tekstgeneratie in deze taal.
Het platform achter Fietje is een aangepaste versie van Microsofts Phi-2 model, dat zich onderscheidt door zijn compactheid zonder aanzienlijk in te boeten aan capaciteit. Met zijn 2,7 miljard parameters - verdeeld over drie varianten: het basismodel Fietje-2b, Fietje-2b-instruct en Fietje-2b-chat, speciaal afgestemd op instructies en chatinteracties - biedt het indrukwekkende resultaten op diverse benchmarks. Dit ondanks de compactheid die het model biedt.
Voorheen had Vanroy het GEITje-7B-ultra model ontwikkeld, dat steunde op een Mistral-LLM structuur en ook reeds indrukwekkende capaciteiten tentoonstelde binnen de Nederlandse taal. De ontwikkeling van Fietje bouwt voort op deze grondslag, met een specifieke focus op hoogwaardige Nederlandstalige data, verzameld van bronnen zoals Wikipedia en CulturaX, om het model te verfijnen.
Wat opvalt bij Fietjes prestaties is de plaatsing op het ScandEval-scorebord, waar het zelfs sommige van de grootste modellen, zoals Meta's Llama 3 met 70 miljard parameters, uitdaagt. Dit toont de efficiëntie en capaciteit van Fietje, ondanks zijn relatief kleinere grootte.
Desondanks waarschuwt Vanroy voor overdrijving van de capaciteiten van Fietje. Het model is indrukwekkend in benchmarks, maar praktische vergelijkingen met aanzienlijk grotere modellen zoals GEITje 7B Ultra duiden op zijn limieten. Het doel met Fietje is nooit geweest om de nieuwe norm van state-of-the-art te stellen, gezien de beperkingen die komen kijken bij het minimaliseren van het model's grootte. Eerder streeft Vanroy naar een evenwichtig model dat zowel hanteerbaar is qua formaat als nuttig in praktijk, vooral oog hebbend op lokale toepassingen en de mogelijkheid tot draaien op minder krachtige apparaten.
De nadruk van Fietje ligt op het stimuleren van community-building en transparantie binnen het veld van AI en taaltechnologie. Met het openbaar maken van datasets, modellen, code en trainingslogs hoopt Vanroy bij te dragen aan een cultuur van openheid en samenwerking, met het uiteindelijke doel de Nederlandse taaltechnologie verder te verbeteren en toegankelijker te maken voor iedereen. Dit initiatief plaatst Fietje niet alleen als een technologische innovatie, maar ook als een maatschappelijk waardevolle bijdrage aan de Nederlandse AI-gemeenschap.
Door Drifter
Aanbevolen reactie
Doe je mee?
Je kunt nu een bericht plaatsen en je later registeren. Als je al een account hebt, kun je je hier aanmelden.