Google-onderzoeker biedt inkijkje toekomst nachtfotografie met smartphones

Google-onderzoeker biedt inkijkje toekomst nachtfotografie met smartphones

Gcam - van Google[x]

Google-medewerker Florian Kainz was werkzaam bij het Gcam-team binnen Google. Dit team werd in 2011 opgericht toen men binnen Google[x], het geheime onderzoekslaboratorium, op zoek was naar een camera die gebruikt kon worden voor Google Glass. Binnen het Gcam-team werd onderzoek gedaan naar 'computational photography', oftewel berekenende fotografie. Dit houdt in dat door middel van softwareverwerking beelden verbeterd worden.

De software die voortkomt uit het Gcam-project wordt gebruikt in de Google Pixel-toestellen en die smartphones worden geprezen om de fotokwaliteit die voorkomt uit de HDR+-verwerking, een directe implementatie van de Gcam-software. Door de naverwerking, waarbij onder andere vrijwel direct achter elkaar geschoten beelden worden gecombineerd, wordt de fotokwaliteit beter dan bij smartphonecamera's die een betere beeldsensor hebben.

SeeInTheDark

Toen Florian Kainz vorig jaar een mooie nachtfoto van San Francisco nam met zijn digitale spiegelreflexcamera (Canon 1DX, Zeiss Otus 28mm f/1.4 ZE) met statief, werd hij uitgedaagd door zijn Gcam-teamgenoten om eenzelfde foto te maken met een smartphonecamera en die uitdaging ging hij aan. De spiegelreflexfoto zie je hieronder.

Bij zijn zoektocht naar mogelijkheden om nachtfotografie met een smartphonecamera mogelijk te maken, kwam hij uit op het werk van een andere Google-onderzoeker, Marc Levoy. Deze presenteerde in 2015 een experimentele applicatie, SeeInTheDark, die het mogelijk maakt om bij zeer weinig licht foto's te maken. In de onderstaande video demonstreert Levoy deze app, die niet publiekelijk uitgebracht is.

Het principe van de SeeInTheDark-app is het combineren van meerdere beelden die geschoten zijn met een lange sluitertijd. Daarbij gaat de app er vanuit dat er niets verandert aan het onderwerp van een foto, zodat verschillen tussen de beelden veroorzaakt moeten zijn door beweging of ruis.

De HDR+-verwerking van de Pixel gebruikt, net als de SeeInTheDark-applicatie, een klein aantal beelden, omdat mensen niet in staat zijn om een smartphone goed stil te houden. HDR+ gebruikt daarbij maximaal 10 beelden en combineert deze. Daarnaast moet om dezelfde reden de sluitertijd maximaal 1/10 seconde zijn, waarbij ook meeweegt dat het bij HDR+ mogelijk moet zijn om een foto te maken van bewegende beelden.

Experimenteren

Kainz begon te experimenteren met zijn smartphonecamera en deed dat door een simpele Android-app te schrijven waarmee het mogelijk is om de sluitertijd, ISO-waarde en focus-afstand in te stellen. Na het indrukken van de virtuele sluiterknop wacht de app een paar seconden en schiet vervolgens maximaal 64 frames met de geselecteerde instellingen.

De camera-app slaat de foto-bestanden vervolgens in een RAW-formaat op, waarna ze kunnen worden nabewerkt op een computer. Het eerste experiment dat Kainz deed, was het maken van 32 frames met een hoge sluitertijd (waarschijnlijk 2 seconden) met zijn Nexus 6P op een statief. Vervolgens schoot hij 32 frames met dezelfde instellingen, maar dan met ondoorzichtige tape op zijn camera-lens. Dat laatste klinkt misschien vreemd, maar camera's zijn niet perfect, zeker niet bij weinig licht en op deze manier kon hij verschillen in zwartwaarden in de sensor afvangen. Vervolgens combineerde hij de normale beelden en trok hij de gemiddelde zwartwaarden van de gecombineerde beelden af. Het eindresultaat zie je in de foto hieronder.

Ter vergelijking heeft hij vanaf dezelfde positie met dezelfde belichtingsomstandigheden ook een foto gemaakt met zijn smartphonecamera in de normale (HDR+)modus, waarbij het rechthoekige gedeelte lichter gemaakt is om de verschillen in kwaliteit duidelijker te laten zien.

Bij een tweede experiment maakte Kainz een serie beelden van een boom met op de achtergrond een heldere sterrenhemel. Daarbij had hij de uitdaging dat de boom op de voorgrond statisch blijft, maar dat de sterren verschuiven door het draaien van de aarde. Door opeenvolgende beelden op elkaar te leggen, zijn strepen te zien waar sterren als puntjes zichtbaar zouden moeten zijn. Daardoor kon Kainz zijn beelden draaien bij het bewerken, zodat sterren opeenvolgende lagen op dezelfde plaats bleven.

Bij het verschuiven van de beelden zien we echter dat de boom en de grond onscherp zijn geworden, aangezien deze op de beelden statisch bleven. Door de afbeelding op te delen in twee lagen, één met de gecombineerde verschoven beelden met de sterren en één met de combineerde statische beelden van de boom en grond, kreeg Kainz een mooie, scherpe afbeelding met daarop de sterren én de boom. Het resultaat, met wat kleurcorrectie, zie je hieronder.

Het album met alle foto's in volledige kwaliteit en een heel aantal andere foto's gemaakt met deze methode is op Google Foto's te bekijken. De methodiek die Kainz gebruikt heeft, is na te lezen in zijn uitgebreide blogpost op het Google Research-blog. De foto hieronder laat het uiteindelijke resultaat zien van de uitdaging die hij aan was gegaan en is gemaakt met een Nexus 6P op een statief.

Florian Kainz heeft met zijn experimenten laten zien waartoe de camera's van smartphones nu al in staat zijn. Daar kwam echter nog wel heel veel handmatige nabewerking aan te pas. Google heeft echter al eerder laten zien al ver te zijn met het toepassen van machine learning bij het verwerken van afbeeldingen en dat zou de verwerking die nu nog op een computer gebeurt, op termijn over kunnen nemen.

Toekomst

Fotokwaliteit zoals die we gezien hebben in de voorbeeldfoto's van Kainz is nog ver weg zonder statief, enorm hoge verwerkingstijd en nabewerking op een computer, maar met het steeds krachtiger worden van smartphoneprocessors en de verbeteringen in kwaliteit van de beeldsensoren, kunnen we de komende jaren nog interessante verbeteringen gaan zien. De ontwikkelingen op het gebied van computational photography zijn daarbij een veelbelovende ontwikkeling.

Bron: Google Research

Lees meer over:
Fotografie

Plaats reactie

666

0 reacties

Laad meer reacties

Je bekijkt nu de reacties waarvoor je een notificatie hebt ontvangen, wil je alle reacties bij dit artikel zien, klik dan op onderstaande knop.

Bekijk alle reacties

Meest gelezen

Deze update voor Google Foto's is klein maar fijn

De huidige manier van foto's of video's delen in Google Foto's gaat op de schop. Google heeft namelijk een update voor de ap...

AW Poll: welke beveiligingsupdate staat er op je telefoon?

Fabrikanten komen regelmatig met beveiligingsupdates voor hun telefoons. Daarmee zorgen ze ervoor dat jouw smartphone of tabl...

Groot risico gevonden in Google Chrome, dit moet je doen

Er is een beveiligingsrisico gevonden in Google Chrome, een van de populairste en meest gebruikte webbrowsers ter wereld. Dit...

ASUS ROG Phone 6-serie onthuld, krachtigste Android-smartphone tot nu toe

ASUS heeft twee nieuwe smartphones in zijn ROG Phone-serie aangekondigd. De toestellen beschikken over de snelste Qualcomm-pr...

Android Auto 7.9 beschikbaar voor bètatesters, nog steeds zonder 'Coolwalk'

Versie 7.9 van Android Auto wordt nu door Google uitgerold. Wat er precies nieuw is in deze versie, maakt Google niet bekend....

Dit gehoorapparaat gaat concurrentie aan met Fitbit

Hartslag bijhouden, stappen tellen en activiteiten tracken, volgens Schoonenberg heb je daar geen sporthorloge of fitnesstrac...

Voorkom ellende, gebruik een VPN verbinding tijdens je vakantie (adv)

Je gaat bijna op vakantie en je werkt de laatste dingen van je to-do-lijst af. In dit artikel vertellen we je waarom daar ech...

Lenovo Tab M10 Plus (Gen 3) review: fijne en betaalbare entertainmenttablet

Tijdens de aankondiging van de Lenovo Tab M10 Plus (Gen 3) zeiden we op de redactie, "dit is een tablet om in de gaten te hou...

Lenovo bevestigt komst grote camerasensor voor Motrola Edge 30 Ultra

De algemeen directeur van Lenovo, Chen Jin, heeft bevestigd dat het nieuwe vlaggenschip van Motorola een grote 1/1,22-inch ca...

Lees meer

Net binnen

Lenovo Tab M10 Plus (Gen 3) review: fijne en betaalbare entertainmenttablet

Tijdens de aankondiging van de Lenovo Tab M10 Plus (Gen 3) zeiden we op de redactie, "dit is een tablet om in de gaten te hou...

Groot risico gevonden in Google Chrome, dit moet je doen

Er is een beveiligingsrisico gevonden in Google Chrome, een van de populairste en meest gebruikte webbrowsers ter wereld. Dit...

Voorkom ellende, gebruik een VPN verbinding tijdens je vakantie (adv)

Je gaat bijna op vakantie en je werkt de laatste dingen van je to-do-lijst af. In dit artikel vertellen we je waarom daar ech...

Lenovo bevestigt komst grote camerasensor voor Motrola Edge 30 Ultra

De algemeen directeur van Lenovo, Chen Jin, heeft bevestigd dat het nieuwe vlaggenschip van Motorola een grote 1/1,22-inch ca...

Dit gehoorapparaat gaat concurrentie aan met Fitbit

Hartslag bijhouden, stappen tellen en activiteiten tracken, volgens Schoonenberg heb je daar geen sporthorloge of fitnesstrac...

Lees meer