Croco-Rätsel

[rob]

(Der Link zum "Weiteren Rating" braucht eine 3 statt der 2.)

[Calavera]

Zudem gibt es noch ein weiteres Rating: Weiteres Rating. Bei diesem Rating ist die Topzeit einfach immer 0 und diese steht dann für 3400 Punkte. Das nimmt die Problematik mit den Spitzen jedenfalls komplett raus. Dann bleibt nur noch der Median als Ungenauigkeit bestehen.

So, Einkaufen hat zumindest geholfen, den Bauch zu verstehen. Die Meinungsfindung lässt noch auf sich warten .

Die Auswirkungen von diesem Ansatz wären zusammengefasst glaub ich die folgenden:

- Tagesbestwerte von bis zu knapp unter 3400 sind möglich, damit theoretisch auch Gesamtratings über 3000
- das Rating skaliert speziell in der Spitze nicht mehr so stark wie beim bisherigen Ansatz: Durch die logarithmische Punktevergabe ist es ja so, dass die gleiche Zeitdifferenz einen umso größeren Punktunterschied bedeutet, je näher man an der Maximalpunktzahl (bisher 3000, bei dem Ansatz 3400) ist. Nehmen wir als beispielhaft den Zeitabstand zwischen dem Ersten und dem Zweiten. Nach dem neuen Ansatz wird er konsequent einem geringeren Punkteabstand entsprechen. Sagen wir also #1 hätte gestern 3000 Punkte gemacht und #2 2950 und durch Zufall hätte die #1 auch nach der vorgeschlagenen Rechnung 3000 Punkte erhalten, so bekäme die #2 nach der vorgeschlagenen Rechnung auf jeden Fall mehr als 2950 Punkte.

Das komische Bauchgefühl rührte also letztlich vor allem vom "anders" her. Denn ob ich den Ansatz besser oder schlechter finde, weiß ich nicht wirklich. Man sollte sich halt bloß bewusst sein, was die Änderung bedeutet.


Schönen Gruß,

Calavera, hat gerade einen ganz neuen Einfall, macht dafür aber ein neues Posting

[Calavera]

So!

Nachdem ich anlässlich dieses Threads mal wieder in statistischen Gefilden unterwegs war, ist mir gerade ein völlig anderer Ratingansatz eingefallen, der sich an Verteilungen orientiert. Eigentlich gefällt er mir sehr, sehr gut, aber im Laufe des Postens sind mir leider Schwächen aufgefallen. Weil ich den völlig anderen Ansatz aber sehr gut finde, poste ich meine gesammelten Gedanken dazu jetzt trotzdem. Vielleicht findet sich ja jemand, der den Faden aufnimmt und daraus erfolgreich ein tolles neues Ratingsystem strickt .

Gehen wir davon aus, dass die Lösungszeiten beim Ü-Rätsel normalverteilt um den Mittelwert sind (da es auf der einen Seite der Glockenkurve eine natürliche Grenze gibt, liegt hier auch direkt ein Problem, aber dazu mehr am Ende). Wie wäre es jetzt, wenn man am Ende eines jeden Tages einfach ausrechnet, wieviele Standardabweichungen er über oder unter dem Mittelwert liegt. Damit könnte man dann wieder allerlei Dinge anstellen: Median- oder Mittelwertberechnungen über alle Teilnahmen der Person (Mittelwertberechnung ist statistisch bestimmt wieder nicht wirklich zulässig, aber egal ), Auszeichnungsvergabe für erstmaliges und/oder x-maliges Überschreiten einer Standardabweichungsschwelle, etc...

Eigentlich bin ich total begeistert von dem Ansatz, wenn da nicht das eingangs angesprochene Problem wäre, dass die Zeiten mit Sicherheit keiner Normalverteilung entsprechen. Da haben wir zum einen die angesprochene natürliche Grenze auf der einen Seite, weil man eben einfach nicht schneller als ein gewisser Wert sein kann, langsamer geht dagegen immer . Nun stelle ich mir das laienhaft so vor, dass die eine Seite der Glockenkurve aus diesem Schnell-Klick-Limit heraus gestaucht ist. Die mir vorschwebende Lösung wäre ein logarithmisches Entstauchen . Ob das praktikabel und halbwegs korrekt ist, weiß ich aber nicht genau.

Leider gibt es auch auf der anderen Seite der Glockenkurve ein Problem: Die Zeiten der Fehlversuchler mit einem Aufschlag der Durchschnittszeit zu werten, finde ich in diesem Fall sehr praktikabel, es bleibt aber das Problem der Nichtlöser. Zur Durchschnittswertberechnung müssten diesen auch Zeiten zugewiesen werden. Welche Zeit ist da dann aber eine faire und wie wirkt sich das "Zusammenklumpen" der Nichtlöser auf die Gesamtverteilung aus? Die beiden Fragen kann ich leider nicht beantworten, weshalb das ganze mit meinen Fähigkeiten eher im Ansatz stecken geblieben ist.

Aber weil ich die Idee trotzdem toll finde, musstet ihr nun meinen 633sten Senf ertragen .


Schönen Gruß,

Calavera

[Calavera]

Ich wollte schon immer mal 3mal hintereinander posten!

Eine Warnung an alle Überraschungsrätsler: Das heutige Labyrinth ist bei den ersten 3 Versuchen nachweislich unlösbar.

[berni]

Das find ich von den Auswirkungen ehrlich gesagt unsauberer als die Alternativen:

Ging mir auch primär darum, die verschiedenen Ratings besser vergleichbar zu machen. Vorher hatte man das Problem, dass das Rating zeitweise über der 3000 war und das wird von der Grafik her nicht mehr unterstützt.

Mein Einduck ist im Moment, dass die Top-Zeit sich über die Jahre nur wenig verändert hat und dadurch auch nur wenig Einfluß auf das Rating. Mir scheint inzwischen mehr, dass der Median angestiegen ist. Vermutlich liegt das daran, dass die guten Leute bleiben, aber die schlechten einfach nur immer wieder ausgetauscht werden. Mal schauen ob man das irgendwie prüfen kann. Vielleicht mit deinen Ideen zur Normalverteilung...

[berni]

Ich hab' mir heute Gedanken dazu gemacht, wie man das mit dem Median-Drift irgendwie erfassen kann. Ich hab' jetzt mal folgendes gemacht: Jeder Benutzer bekam einen Rang zugeordnet. Grob genommen entspricht das dem kyu/dan-Wert; wobei ich bei Benutzern, die noch nicht oft genug teilgenommen haben, den Wert geschätzt habe. Ich habe damit dann eine Teilnehmerstatistik für den März 2009, 2010 und 2011 erstellt und mir Median und Durchschnitt ausrechnen lassen.

Das merkwürdige Ergebnise: Median und Durchschnitt sind seit der Einführung des Ratings gesunken: War der Median 2009 noch bei ca. 7k ist er nun auf 9k gefallen. Beim Durchschnitt sieht es ähnlich aus. Ich kann mir da im Moment noch keinen rechten Reim drauf machen, weil das nicht das ist, was ich erwartet habe. Aber möglicherweise hängt das mit der logarithmischen Skala des Ratings zusammen... Muss ich nochmal drüber schlafen...

[Calavera]

Also beim Median finde ich das sehr einleuchtend, denn es unterstützt ja die These, dass das Hinzukommen einiger weniger Spitzenlöser insgesamt die durchschnittlich erreichten Punkte drückt. So ist nun eben jemand, der vorher 7k war, auf 9k abgerutscht. Dabei kann die Fähigkeit des Medianrätslers heute durchaus stärker sein als die von 2009. Dann hätten die Topzeiten halt noch radikaler reingehauen.

Wie es sich mit dem Durchschnitt verhält, kann ich schlechter abschätzen, aber die Argumentation müsste tendenziell wohl die gleiche sein.

[berni]

Also beim Median finde ich das sehr einleuchtend, denn es unterstützt ja die These, dass das Hinzukommen einiger weniger Spitzenlöser insgesamt die durchschnittlich erreichten Punkte drückt. So ist nun eben jemand, der vorher 7k war, auf 9k abgerutscht. Dabei kann die Fähigkeit des Medianrätslers heute durchaus stärker sein als die von 2009. Dann hätten die Topzeiten halt noch radikaler reingehauen.

Aber das erklärt nicht, warum nun bei etlichen Leuten eine Abwärtstendenz vorhanden ist. Wenn der Median (oder auch der Durchschnitt) der Teilnehmer sinkt (das ist ja gleichbedeutend damit, dass der Anteil der schlechten Teilnehmer proportional mehr ansteigt), steigt das Rating.

[berni]

Jetzt habe ich mal die Stärken der Teilnehmer auf ein fiktives Ü-Rätsel mit (Spitzenzeit 0 und Median 1000) umgerechnet und dort den Durchschnitt angeschaut.
Was sehr merkwürdig ist, auch hier fällt der Durchschnitt ab. Das müsste doch eher dafür sorgen, dass das Rating so langsam ansteigt, statt abzufallen. Ich finde das sehr seltsam und frage mich so langsam, ob das Abfallen der Ratings eher psychologischer Natur ist?

[euklid]

Ich habe mir die letzten Beiträge nicht im Detail durchgelesen, weil ich der Meinung bin, dass das Rating toll funktioniert und nicht angepasst werden muss, nur weil jetzt vielleicht etwas andere Bedingungen herrschen wie früher. Dass ein tolles Ratingsystem noch verbesserungsfähig ist, das ist klar, darum auch danke, dass ihr die Verbesserung versucht.

Ein Gedanke nur von mir: Das Ratingsystem so wie es derzeit ist, funktioniert ja nur deshalb so gut, weil die Top-Rätsler auch regelmäßige Rätsler sind. Nehmen wir vereinfacht an, es gäbe genau drei Top-Rätsler (z.B. früher uvo, flooser, pwahs), welche deutlich besser sind als der Rest. Würden diese Rätsler nur jedes 10te Rätsel lösen, so wäre die tägliche Ratingzahl nicht sehr aussagekräftig. Nehmen uvo, flooser oder pwahs teil, dann ist die Wahrscheinlichkeit groß, dass eine tolle Zeit nur 2700 Punkte gibt, die ohne die drei 3000 Punkte wert wäre.

Und da könnte auch der Grund für eine (eventuelle) generelle Ratingzahl-Abnahme liegen. uvo legt bei jedem x-ten Rätsel eine "uvo-Zeit" (=Wahnsinnszeit, deutlich schneller als der Zweitplatzierte) hin. Das schafft er aber nicht bei jedem Rätsel. Nun ist es so, dass die Anzahl der Rätsler, die eine "uvo-Zeit" produzieren können, mittlerweile sehr groß ist. Bei jedem Rätsel schafft jetzt also mindestens einer der vielen Kandidaten eine uvo-Zeit. Ich behaupte also, dass die Top-Zeiten angezogen haben, weniger in der absoluten Geschwindigkeit, aber mit der Konstanz, in der diese Zeiten eintreffen.

Meine Behauptung könnte man an uvos Statistik überprüfen. Hat uvos Durchschnitt von Nr.1-Plätzen zuletzt abgenommen? Ich glaube nämlich, dass uvos Leistung gleichgeblieben ist. Wahrscheinlich zuletzt ein paar Fehlversuche mehr als üblich, was sich bei seinem hohen Rating fürchterlich auswirkt. Aber die Geschwindigkeit bei allen seinen fehlerlosen Rätseln hat sicherlich nicht abgenommen. Wenn er trotzdem weniger Top1-Plätze erreicht (was anzunehmen ist mit kirarin, mars, ...), dann stützt das meine These...

LG,
Stefan

[edit: Bei der Ratingabnahme sprechen wir übrigens meist von Lösern in der Kategorie Top10-Top100. Bei dieser Gruppe wirkt sich eine (auch nur kleine) Veränderung der Top-Zeit viel gravierender aus als eine (eventuell relativ große) Veränderung der Medianzeit!]