Zur Systematik

Für diesen Vergleichstest wurde ein Auswertungsverfahren entwickelt, das auf dem Begriff der Bewertungssicherheit basiert. Mit dieser Größe soll ermittelt werden, wie zuverlässig eine Person Anlagen beurteilt: Die Stückliste wurde so aufgebaut, dass manche Stücke auf manchen Systemen mehrmals gespielt wurden. (Ursprünglich sollte ein kompletter zweiter Durchlauf stattfinden, das wurde dann aus Zeitgründen gestrichen).

Wenn dasselbe Stück auf derselben Anlage gespielt wird, dann sollte man annehmen, dass die Wertung auch identisch ist. Wäre sie das in allen Fällen, dann hätten wir eine Bewertungssicherheit von 1 (=100%), würden in solchen Fällen die Anlagen immer extrem unterschiedlich bewertet, dann wäre die Bewertungssicherheit bei 0 (= 0%).

Die in Bengen verkündeten Ergebnisse basierten auf einer ersten Version der Berechnung, welche einige Unzulänglichkeiten hatte (gerade dann, wenn Leute nicht alles bewertet hatten, beispielsweise, weil sie zu spät gekommen sind oder den zweiten Durchlauf versäumt hatten, weil sie für's Catering sorgten). Inzwischen wurde die Berechnung so umgestellt, dass solche Einflüsse das Ergebnis nicht mehr verfälschen. Somit ändern sich die Ergebnisse geringfügig.

Zur Berechnung: Es wird für alle Stücke, die mehrmals bewertet wurden, die Standardabweichung gebildet, diese wurde über alle solche Fälle gemittelt und durch die Standardabweichung aller Bewertungen geteilt. Das so ermittelte Ergebnis wird von 1 abgezogen und ergibt so die Bewertungssicherheit.

Rangliste der Bewertungssicherheit

Die Bewertungssicherheit schwankte zwischen 0,428 und 0,764. (Zum Vergleich: Wenn ein Zufallsgenerator Noten zwischen 2 und 4 gibt, dann liegt die Bewertungssicherheit so im Bereich zwischen 0,25 und 0,35.) Die ersten sieben Plätze:

direkt aufeinanderfolgende Systeme

Die Reihenfolge der Systeme wurde mit dem Zufallsgenerator festgelegt. Dieser hat vier mal entschieden, beim selben Stück das gleiche Systeme zweimal direkt hintereinander zu spielen. Eigentlich hätte man zumindest hier überall identische Wertungen erwartet, aber wir hatten hier bis zu zwei volle Noten Abweichung (beispielsweise 3 und 5).

Lediglich drei Tester haben in allen vier Fällen identische Wertungen (Rockline, Privateer und Uwe Lammich), bei einem Tester haben wir in allen vier Fällen unterschiedliche Wertungen.

Die Werte in Klammern geben an, wie das System beim zweiten mal gewertet wurde: Das Gehör scheint sich an den Klang zu gewöhnen, im zweiten Durchlauf wurden tendenziell bessere Bewertungen abgegeben.

Wertung der Systeme

Das Auswertungsprogramm erlaubt nun die Berücksichtigung der Bewertungssicherheit bei der Ermittlung der Ergebnisse. Zum einen kann eine Mindest-Bewertungssicherheit vorgegeben werden, zum anderen können die Bewertungen entsprechend der Bewertungssicherheit gewichtet werden.

Wertung ohne Einfluss der Bewertungssicherheit

Wertung mit Gewichtung entsprechend der Bewertungssicherheit und ohne Mindestwert

Wertung ohne Gewichtung entsprechend der Bewertungssicherheit und mit Mindestwert 0,7

Wertung mit Gewichtung entsprechend der Bewertungssicherheit und mit Mindestwert 0,7

Wertung nach Stücken

Bei den einzelnen Stücken zeigt sich, wo die einzelnen Systeme ihre Stärken und Schwächen haben. Die folgenden Tabellen beruhen auf einer Gewichtung entsprechend der Bewertungssicherheit und einem Mindestwert von 0,7.

Dire Straits, "money for nothing":

Mozart, Zauberflöte, "der Hölle Rache" (hier hört man besonders gut, ob ein System im Stimmbereich verzerrt oder nicht):

Michael Jackson, "Liberian Girl" (hier hört man besonders, wie impulsfreudig der Bass ist):

Stück vier

Stück fünf

Stück sechs