OnePlus 3T speelt flink vals in benchmarks

In de beginjaren van Android waren benchmarks heilig: vaak werden koopbeslissing genomen op basis van scores uit deze apps. Dit zorgde ervoor dat grote fabrikanten probeerden de benchmarks te beïnvloeden door allerlei trucs uit te halen. Zo zorgden ze ervoor dat software de populaire apps herkenden, om vervolgens het gedrag van de hardware aan te passen. Zo werd de minimale kloksnelheid teruggebracht, waardoor het leek alsof de toestellen beter presteerden. Op lange termijn zou dit slecht zijn voor smartphones, maar op dat moment dachten fabrikanten dat dit de moeite waard zou zijn. Onder andere HTC, Samsung, LG en Sony maakte zich hier schuldig aan. 

Toen dit algemeen bekend werd, kreeg de zaak veel aandacht. Dit zorgde er weer voor dat benchmarks een minder grote rol kregen in reviews, maar ook zeker het beslissingsproces van consumenten. Maar het lijkt nog steeds te gebeuren, deze keer door OnePlus, zo ontdekte XDA na een gedegen onderzoek.

OnePlus 3T speelt ook vals

Om vals te spelen in een benchmark moet je als bedrijf een aantal dingen doen. Allereerst een aantal benchmark-apps herkennen om vervolgens de prestaties van het toestel aan te passen. Om het iets technischer te maken in het geval van de OnePlus 3T: als de processoren ‘in rust zijn’ dan draait de Snapdragon 821 standaard op 0,31 GHz, bij een dergelijk ‘valsspeel-moment’ was dit boven de 0,98 GHz. Dat wil dus zeggen dat er meer processorkracht gebruikt wordt om de benchmark en uiteindelijke score te beïnvloeden.

Hier zijn de mensen van XDA achtergekomen door een samen te werken met het bedrijf achter Geekbench, een populaire benchmark voor mobiel en pc. Omdat er op naam geselecteerd wordt door de software van de OnePlus 3T, werd er een nieuwe versie van de Geekbench-app gebouwd die anders genoemd werd. Dit om ervoor te zorgen dat er geen ’trigger’ was om de processoren een extra boost te geven. Wat blijkt: hier draaiden ze in rust wel op de standaard 0,31 GHz. Hieruit mogen we voorzichtig concluderen dat OnePlus moeite heeft gedaan om bepaalde benchmarks te beïnvloeden. Dit zou onder andere betrekking hebben op Geekbench, AnTuTu, Androbench, Quadrant, Vellamo en GFXBench, een aantal populaire benchmark-apps.

In onderstaande grafiek zien we de vergelijking tussen het ‘normale’ gedrag van de Snapdragon 821 in de OnePlus 3T en het ietwat opgefokte beeld.

Ditzelfde bleek het geval te zijn bij merken als Meizu, die ook zorgen voor betere prestaties in benchmarks.

Nadat de XDA contact had gezocht met OnePlus hebben ze aangegeven hiermee aan de slag te gaan en werd er toegezegd dat dit in de toekomst niet meer zal gebeuren. Wanneer dit het geval zal zijn en welke fabrikanten zich hier op dit moment nog meer schuldig aan maken, dat zal in de toekomst moeten blijken.

Via: XDA