Hackers misleiden Google Gemini en krijgen toegang tot slimme woning

Beveiligingsonderzoekers hebben voor het eerst aangetoond hoe AI kan worden misbruikt om fysieke apparaten aan te sturen. In een demonstratie op de Black Hat-conferentie werd Google’s Gemini gebruikt om op afstand smart home-apparaten te activeren, zonder dat de gebruiker daar toestemming voor gaf.

Gemini gehackt via Google Agenda

Techwebsite Wired was aanwezig bij een presentatie van de hackers in Las Vegas. Het beschrijft precies hoe de hackers te werk zijn gegaan. De aanval begon met een ogenschijnlijk onschuldige Google Agenda-uitnodiging. Daarin verstopten de onderzoekers een indirecte prompt-injection. Dat is een verborgen boodschap die Gemini ertoe aanzet om bepaalde acties uit te voeren. Zodra de gebruiker later vroeg naar een overzicht van zijn week, las Gemini deze agenda en volgde de onzichtbare instructies op.

De onderzoekers die hiermee bezig zijn, werken aan de Tel Aviv University en kregen het voor elkaar om in een appartement de lichten uit te doen, rolluiken te openen en de boiler in te schakelen. Alles werd geactiveerd toen de gebruiker iets simpels zei als “dankjewel” in de chat met Gemini.

Slim hacken via prompt-injection

Bij deze aanval werd gebruikgemaakt van een indirecte prompt-injection, waarbij instructies worden verstopt in tekst die AI later samenvat of leest. Dit type aanval geldt als een van de grootste beveiligingsrisico’s bij generatieve AI, zeker nu deze steeds vaker gekoppeld wordt aan andere systemen zoals Google Home of slimme auto’s.

Dit voorbeeld met Gemini is onderdeel van een groter onderzoek waarbij hackers verschillende soorten aanvallen uitvoeren. Dat gaat van Zoom-gesprekken tot het versturen van spamlinks en het uit laten spreken van aanstootgevende teksten. Dat allemaal via Gemini.

Google reageert

Google erkent het probleem en zegt meerdere verdedigingslagen te hebben toegevoegd sinds de bevindingen begin dit jaar werden gemeld. Andy Wen, hoofd beveiliging bij Google Workspace, zegt tegen Wired dat Gemini nu beter wordt gecontroleerd op verdachte instructies en moet de gebruiker vaker handmatig toestemming geven bij gevoelige acties.

Toch waarschuwen de onderzoekers dat de snelheid waarmee AI wordt uitgerold niet gelijk oploopt met de aandacht voor beveiliging. “LLM’s worden nu geïntegreerd in apparaten met fysieke impact, maar zonder dat de beveiliging meegroeit,” aldus onderzoeker Ben Nassi.

Daar heeft Nassi een punt. Gemini zit al in de nieuwste smartwatches van Samsung verwerkt en krijgt een diepere integratie met Android Auto.