Die Weisheit der Vielen?

Wenn viele Piloten ihren jeweiligen Schirmen auf Bewertungsportalen Noten geben, kommt dann im Durchschnitt eine treffende Einsicht heraus? Das Beispiel Flyhy.co weckt Zweifel. 
Eine "Heatmap" der von Piloten vergebenen Durchschnittsnoten in verschiedenen Eignungsklassen
für 20 beliebte EN-B Schirmmodelle – erhoben vom Vergleichsportal Flyhy.co.
Das Notenspektrum reicht von 1=wenig bis 5= sehr gut geeignet.
// Quelle: Flyhy.co

Seit rund einem Jahr lädt die Seite Flyhy.co Piloten dazu ein, ihre jeweiligen Schirme in kurzen, standardisierten Online-Testbögen  zu beurteilen. Die Macher der Seite stellen Flyhy als "Data Analytics Platform" für die Paragliding-Community dar bzw. wollen sie als solche etablieren. Aus der Summe der Einzelwertungen in diversen Disziplinen soll sich ein realistisches Bild ergeben, welcher Schirm für welche Pilotengruppe mehr oder auch weniger geeignet ist.

Anfangs sammelte Flyhy.co nur die Einzelwertungen und stellte sie auf der Seite dar. Dann kamen erste graphische Auswertungen in Form von Pentagrammen hinzu, in denen die diversen Noten zu den Schirmen aus den Einzel-Reviews gemittelt sind. Anhand der fünfeckigen Darstellungen soll man schnell erkennen und vergleichen können, zu welchen Einsatzbereichen ein Schirmmodell besser oder schlechter passt. Die Kategorien sind: Anfänger, Freizeitpilot, XC-Flieger, Wettbewerb und Hike&Fly. Die Noten reichen jeweils von 1 bis 5, wobei 1 für "wenig" und 5 für "sehr gut geeignet" steht.

Jüngst veröffentliche Flyhy.co auf seiner Facebook-Seite sogar eine erste sogenannte Heat-Map (siehe Tabelle oben), in der gleich zwanzig beliebte B-Schirme im Vergleich zueinander dargestellt werden. Schaut man sich die dort präsentierten Durchschnittswerte an, kommen allerdings Zweifel auf, ob solche abgefragten und gemittelten Noten tatsächlich sinnvolle Informationen über den Charakter von Schirmen liefern. Die sprichwörtliche "Weisheit der Vielen" wirkt jedenfalls nicht sehr überzeugend.

Das Eignungsprofil von Schirmen in Pentagramm-Darstellung.
// Quelle: Flyhy.co
Folgte man allein diesen Noten, dann wäre beispielsweise ein relativ gestreckter Schirm wie der Ikuma, den der Hersteller Niviuk selbst im High-B-Bereich ansiedelt, in dieser Auswahl am besten für Anfänger geeignet.

Für die sich weiter entwickelnden Freizeitpiloten wäre unter anderem ein durchaus sportlicher Summit XC3 von UP unter den Top-Empfehlungen zu finden – höher eingestuft als viele Low- und Mid-B-Geräte.

Wer die zwei genannten Schirme, aber auch andere Modelle der Liste, jeweils schon geflogen ist und vergleichen kann, dürfte einige der Wertungen mit Verwunderung aufnehmen.


Der Fehler liegt im System

Theoretisch ist die Idee von Flyhy.co, nicht nur auf EN- oder Safety-Class-Noten zu schauen, sondern den Erfahrungen einer großen Piloten-Community zu vertrauen, eine gute. Leider wird das Urteil, das sie liefert, in der Praxis aber methodisch immer verzerrt sein. Denn die Piloten nehmen für ihre jeweiligen Einschätzungen nur sich selbst als Maßstab.

Die wenigsten Piloten, die vom A- auf einen B-Schirm aufsteigen, werden als erstes Modell z.B. den schon genannten Summit XC 3 wählen. Die Sicht solcher Aufsteiger auf das Verhalten so eines Schirmes würde vermutlich am besten zur Einschätzung in der Rubrik "Leisure/Progression" passen, sie kommt in der Statistik aber zwangsläufig nicht vor. Hier werden also die Einschätzungen der schon erfahreneren XC-Piloten, die sich einen High-B-Schirm zutrauen und damit gut zurecht kommen, im Grunde überbewertet.

Ein Wettbewerbspilot wiederum würde niemals einem Mid-B wie z.B. dem Nova Ion 4 in der Sparte "Competition" eine mittlere Wettbewerbseignung (Note: 3,1, siehe Pentagramm) zuschreiben. Ein echter Sichelflieger würde diesen Schirmtyp vermutlich nicht einmal fliegen wollen, schon gar nicht im Wettbewerb. Hier werden also die Einschätzungen typischer Ion-4-Piloten, die in den meisten Fällen noch nie einen Wettbewerb mitgeflogen sind, ihrerseits wiederum das Notenbild verzerren. Eine echte Vergleichbarkeit zwischen den Schirmen anhand der verteilten Durchschnittsnoten ist damit nicht gegeben.

Nun könnte man einwenden, dass die Datenbasis von Flyhy.co im Grunde noch immer viel zu klein ist, um daraus irgendwelche repräsentativen Urteile ableiten zu können. Allerdings gilt es zu erkennen: Selbst wenn mit der Zeit die Zahl der eingereichten Einschätzungen und damit die Datenbasis für die Analysen immer größer würde, blieben die Ergebnisse stets von solchen systematischen Fehlern der Datenerhebung betroffen.

Share on Google Plus

4 Kommentare:

JN hat gesagt…

Auch geil: Alle B-Schirme sind zum Wettbewerbsfliegen besser geeignet als für Freizeitpiloten :-)

Frank hat gesagt…

Bei Ikuma und Summit scheint es sich um "Ausreißer" (wegen zu gringem Sample-Umfang) zu handeln.
Ansonsten, kann man mit dem Hintergrundwissen, wie die Zahlen entstehen,
und etwas gutem Willen schon eine Tendenz erkennen: wie z.B. Carrera = nicht für Beginner, Epsilon aber schon, usw.

Lucian Haas hat gesagt…

"Hintergrundwissen", "etwas gutem Willem" ... Klar kann man sich jede Statistik passend zurecht denken. Leider ist die Methodik der Datenerhebung und des Rechnens mit Mittelwerten, die auf kleinen und unterschiedlich umfangreichen Samples beruhen, die wiederum von Piloten mit unterschiedlichen Maßstäben erhoben wurden, nicht zu gebrauchen. Vasilis versucht das auszugleichen, in dem er selbst die verschiedensten Faktoren in seine Auswerteformeln einfügt. Damit kommt aber auch noch der Bias des Auswerters da rein. Ganz nach dem Motto: Glaube keiner Statistik, die Du nicht selber verbogen hast.
Das ist billige Küchentischstatistik und letztendlich Augenwischerei.

Frank hat gesagt…

Hab grad mal nachsehen: der Stichprobenumfang bei EN-B ist 81...und das bei 20+ Schirmen. Das ist quasi nichts für Statistik im mathematischen Sinn.
Man darf halt die Rübe nicht ausschalten, wenn man sich Statistiken ansieht. Egal welche. Hier haben eben ein paar Piloten ihren Flügel selbst eingeschätzt
und die Macher der Seite haben die Zahlen grafisch dargestellt.
Die Alternative wäre, eine Metrik zu erfinden (deren allg. Akzeptanz sowieso nicht gegeben ist) und die Schirme danach zu bewerten.
Viel mehr als "Meinungen" kann man von anderen in unserem Hobby kaum erwarten.
Und mehr braucht man eigentlich auch nicht.