Leistung¶

OpenBenchmarking.org liefert Testergebnisse zu Chipsätzen, Grafikkarten, Festplatten und CPUs. Die Testergebnisse werden unter verschiedenen Betriebssystemen (z. B. Ubuntu, Fedora, Mac OS X) erhoben.

Um Testergebnisse auf OpenBenchmarking.org zu suchen, gibt es zwei Szenarien:

1. Man möchte Grafikkarte X mit Grafikkarte Y vergleichen. Wie schnell ist Grafikkarte X in Relation zu anderen Grafikkarten?

2. Man besitze Grafikkarte X und möchte herausfinden, unter welchem Betriebssystem die Grafikkarte am schnellsten funktioniert.

Funktionsweise¶

OpenBenchmarking ist ein Crowdsourcing-Projekt. Anwender können mit der Phoronix Test Suite ihr eigenes Computer-System testen und wenn sie wollen die Testergebnisse zu OpenBenchmarking hochladen. Jeder einzelne Test geht dann in die Suchergebnisse auf OpenBenchmarking.org mit ein.

Die Benchmarks der Phoronix-Testsuite umfassen Grafik-, CPU-, und Festplatten-Tests.

Stärken und Schwächen¶

Der große Vorteil von OpenBenchmarking liegt in der schieren Anzahl an Tests bzw. Testergebnissen und der hohen Aktualität. Anwender schmeißen einfach die Testssuite an, lassen die Tests ein paar Stunden arbeiten und die Ergebnisse erscheinen bei OpenBenchmarking. So werden alle möglichen Hardware-Kombinationen getestet und fließen in die Benchmarks mit ein. Zusätzlich testet das Phoronix-Team auch brandneue Systeme, die unter Umständen noch nicht auf dem Markt sind.

Die automatisierten Tests erfassen nur Geschwindigkeit und Energieverbrauch bestimmter Komponenten. Faktoren wie beispielsweise Darstellungsfehler können sie nicht erfassen. Hier braucht es immer noch menschliche Tester. Auch kann die Phoronix-Testsuite Linux-kritische Komponenten wie Kameras, Fingerprintreader oder Touchpad nicht testen. So können keine Kaufempfehlungen für Komplettsysteme bzw. Laptops mit OpenBenchmarking erzeugt werden.

Zukünftige Entwicklung¶

OpenBenchmarking ist noch ein sehr junges Projekt. Für die Zukunft sind noch weitere Tests und vor allem mehr Testergebnisse zu erwarten. Bleibt zu hoffen, dass die Entwickler Tests für weitere Komponenten ausarbeiten. Wünschenswert wären noch Community-Funktionen und die Arbeitsweise von Komponenten zu beurteilen und die automatisierten Ergebnisse zu ergänzen.

Allgemeine Kritik an Phoronix¶

Das Team rund um Phoronix hat in der Vergangenheit einige Benchmarks veröffentlicht, die wenig bis keine Aussagekraft haben:

• Die meisten Bildschirme haben eine Bildwiederholrate von 60Hz. Wenn man einen Compositor wie KWin oder Compiz benutzt, so erzeugen diese nur genauso viele Frames wie der Monitor überhaupt darstellen kann. Bei einem Monitor mit 60Hz wäre es beispielweise 60 Frames. Alles was darüber hinaus geht wäre Verschwendung von Ressourcen. Die Phoronix Test Suite setzt bei ihren Test zu einem großen Teil auf die Anzahl gerenderter Frames pro Sekunde. Daher lässt sich der Sinn beziehungsweise die Aussagekraft eines solchen Benchmarks anzweifeln.

• Ein anderer Test ist ein Dateisystemvergleich der CPU bound Operationen als Basis hat. Dabei wurde ein Programm kompiliert und die Zeit gemessen die das Dateisystem benötigt um die Daten zu speichern. Diese Zeit ist kein Indikator für die Geschwindigkeit, da nie bekannt ist wie lange das Dateisystem auf die CPU warten muss bis die Daten bei ihm ankommen.

Daher sind die Ergebnisse, die mittels der Testsuite erstellt werden, mit Vorsicht zu genießen. Benchmarks haben generell nur eine geringe Aussagekraft, da die Komponenten der PC-Systeme selten absolut identisch sind. Des Weiteren kann man die zu testenden Faktoren so spezialisieren, das Kandidat B gewinnt, obwohl Kandidat A vermeintlich besser ist. Getreu dem Motto: „traue nie einer Statistik, die du nicht selbst gefälscht hast“. Und zu guter letzt können Hersteller ihre Treiber gezielt auf bestimmte Benchmarks optimieren, um in diesen gut abzuschneiden.

Vielen Dank an Rockiger für die Einsendung dieses Artikels!