Onderzoek van Harvard en de Universiteit van Michigan heeft onthuld dat AI-modellen capaciteiten ontwikkelen die veel eerder in hun training proces worden verworven dan tot nu toe werd aangenomen. Deze capaciteiten worden pas zichtbaar wanneer specifieke omstandigheden dat vereisen.
Dieper inzicht in het leerproces van AI-modellen
Deze studie is niet alleenstaand in zijn soort; het maakt deel uit van een breder onderzoeksveld dat probeert te begrijpen hoe AI-modellen hun vaardigheden verwerven. Door te kijken naar hoe deze modellen basale concepten als grootte en kleur leren, kwam aan het licht dat ze deze eerder beheersen dan wat standaardtests aanwijzen. De bevindingen van het onderzoek benadrukken de complexiteit van het meten van AI-vaardigheden:
- Onderbewuste leren: AI-modellen kunnen concepten al kennen terwijl ze op traditionele tests nog als incompetent kunnen overkomen.
- Methoden om capaciteiten te onthullen: Door het gebruik van alternatieve aanpakken zoals lineaire latente interventie en overprompting, hebben onderzoekers verborgen capaciteiten naar boven kunnen halen.
Inzicht in intern conceptueel leren
Parallellen kunnen worden getrokken met het werk van Anthropic, die met ‘dictionary learning’ probeerde de interne begripsverbindingen in hun Claude-model in kaart te brengen. Dit onderzoek liet zien dat AI-modellen een breed scala aan concepten, zowel concreet als abstract, intern herkennen. Experimenten met diffusiemodellen hebben tevens aangetoond dat AI-modellen:
- Vroegtijdig leren: Concepten al duizenden stappen eerder onder de knie hebben dan wat standaardtests aangeven.
- Groeipatronen: Verschillende fasen van conceptuele beheersing vertonen, met sterke concepten die vroegtijdig verschijnen en zwakkere die meer training nodig hebben.
Deze bevindingen hebben implicaties voor de manier waarop we AI evalueren, zowel voor hun huidige capaciteiten als voor de veiligheidsaspecten van hun toepassingen, aangezien traditionele methoden mogelijk niet alle vermogens van de AI-modellen kunnen detecteren.
Deze verborgen capaciteiten van AI-modellen kunnen worden vergeleken met mensen die een vreemde taal verstaan maar deze niet kunnen spreken. Het suggereert dat AI-modellen veel meer in zich hebben dan wat ze doorgaans tonen, wat de uitdagingen in het begrijpen en controleren van hun capaciteiten onderstreept.
