Google’s slimme assistent Gemini heeft een zwakke plek 

Google is zeer fanatiek bezig met zijn slimme assistent Gemini, maar die blijkt niet op alle gebieden even slim te zijn. Zo schijnt hij een zwakke plek te hebben als het om nieuws gaat. Uit onderzoek blijkt dat van alle AI-chatbots en nieuws-bots Gemini het slechtst uit de test komt.

Nieuws op Gemini

Hij blijkt niet goed te zijn in het identificeren van betrouwbare bronnen. Opvallend, want Google is juist als zoekmachine geënt op het vinden van betrouwbare bronnen. De assistent is heel goed in het snel herkennen wat je bedoelt en ook het beantwoorden van feitelijke vragen gaat vaak prima, maar als het om nieuws gaat, dan gaat het soms de verkeerde kant op. Vooral als het gaat om de vooruitgang: volgens het onderzoek, dat werd verricht door de European Broadcasting Union, innoveren andere chatbots sneller op dit gebied.

Het deed onderzoek naar de prestaties van grote AI-chatbots, dus OpenAI ChatGPT, Google Gemini, Microsoft Copilot en Perplexity komen erin voorbij. Ze kwamen allemaal niet perfect uit de test, maar wat er bij Google’s AI-chatbot opviel is dat er geen duidelijke links zijn naar de bronnen. Ook leek het erop dat Gemini niet goed kon inschatten wanneer iets satire is of niet. 

De Speld of NOS?

Met andere woorden: het zou je bijna vertellen dat het Amstelveen College inderdaad met een tekort aan vapes kampt door een storing van Snapchat, zoals we deze week op De Speld kunnen lezen. Ook zou de chatbot te veel leunen op Wikipedia (wat op zich veel AI-chatbots doen, want ze zijn er vaak op getraind) en zouden citaten helemaal niet letterlijk worden overgenomen. Kortom, als het een academisch student was, dan zou Gemini zijn gezakt als het om nieuws gaat.

Het onderzoek is twee keer uitgevoerd met zes maanden ertussen, om te checken of er verbetering te zien was. Veel AI-systemen doen het beter. De nieuws-samenvattingen zijn toegenomen in kwaliteit. Gemini toonde minder vooruitgang en blijft hangen als het om het bespreken van nieuws gaat. Op zich is het altijd goed om het ‘werk’ van AI te controleren en er kritisch op te zijn en dat geldt dus niet alleen voor feitjes op vragen die je stelt, maar ook bij het vermelden van nieuws.