Toen Google Gemini 1.5 Pro en 1.5 Flash aankondigde, liet het bedrijf weten dat de generatieve AI-modellen grote hoeveelheden data kunnen verwerken. Ze konden “voorheen onmogelijke taken” uitvoeren, omdat ze met veel context rekening kunnen houden. Zo kunnen ze documenten van honderden pagina’s samenvatten.
Veertig tot vijftig procent
Maar ook scènes doorzoeken in videomateriaal. En hoewel dat in principe lukt, gaat het verwerken van al die gegevens toch wat minder goed dan gedacht. Dat blijkt uit twee onderzoeken. Het doel van die onderzoeken: controleren hoe goed Google Gemini en andere AI-modellen omgaan met grote hoeveelheden data.
Uit beide observaties komt naar voren dat zowel Gemini 1.5 Pro als 1.5 Flash in veel gevallen moeite hebben met het analyseren van heel veel gegevens. Uit een test met grote documenten blijkt dat beide AI-modellen in slechts veertig tot vijftig procent van de gevallen het juiste antwoord konden genereren.
Daarnaast is gekeken in hoeverre beide versies van de kunstmatige intelligentie kunnen omgaan met statements die waar of onwaar zijn. Gemini Pro kan in 46,7 procent van de gevallen precies aangeven wat wel en niet klopt, terwijl Flash dat in slechts twintig procent van de voorbeelden kan (Flash is een kosteneffectieve variant van Gemini).
1 miljoen tokens
Natuurlijk is het zo dat wanneer een bedrijf een nieuw product presenteert, de resultaten een beetje mooier gemaakt worden dan ze daadwerkelijk zijn. Soms bewust, soms door de optimale onderzoekomstandigheden. Maar in dit geval lijkt het er toch een beetje op dat Google het kennen en kunnen van de AI-modellen overdreven heeft.
Belangrijke context bij deze onderzoeken is dat ze niet peer-reviewed zijn en dat de onderzoekers geen gebruikgemaakt hebben van Gemini Pro en Flash die de beschikking hebben over twee miljoen tokens. De AI-modellen moesten het met de helft doen. Op Techcrunch lees je meer over de onderzoeken, evenals quotes van de onderzoekers.
In hoeverre vertrouw je AI-modellen wanneer je ergens een vraag over stelt?
Reacties
Inloggen of registreren
om een reactie achter te laten
Ik neem de gegenereerde antwoorden van Gemini met een zak zout. Zelfs eenvoudige dingen geven aanleiding tot fantastische hallucinaties, soms word ik simpelweg niet begrepen als ik tegen Gemini spreek, … Volgens mij zijn Castor en Pollux de weg toch wat kwijt.