Forschung
Adaptive Robotikbildung und Digital-Twin-Forschung
HCR ist ein wissenschaftliches Forschungsinstrument für Blockly-Programmierbewertung, adaptives Lernen und Robotikbildung mit digitalen Zwillingen. Teilnehmende entscheiden vor dem Anlegen eines Spielers oder einer Sitzung über ihre Teilnahme.
Studienteilnahme
Entscheiden Sie vor Studienbeginn, ob Sie teilnehmen möchten
Der Client legt erst dann eine Simulatorsitzung oder Spielerkennung an, wenn eine Person der Teilnahme an dieser wissenschaftlichen Studie aktiv zustimmt.
Erforderliche Studiendaten
Kompiliertes Blockly Program IR, Aufgabenversion, Punktzahl sowie technische Sitzungs- oder Einreichungskennungen, die für Wiedergabe und Analyse erforderlich sind.
Optionale Angaben
Die Hauptsprache wird nur als grober Code wie zh oder en gespeichert, die aktuelle UTC-Abweichung in Minuten. „An der Studie teilnehmen“ aktiviert beide Angaben; unter „Weitere Einstellungen“ lassen sie sich einzeln abschalten.
Nicht gezielt erhoben
Wir erheben keine Browser-Fingerprints, genauen IANA-Zeitzonennamen, abgeleiteten Standorte, Werbekennungen oder seitenübergreifenden Trackingprofile.
Grad der Anonymisierung
Studienaufzeichnungen können Sitzungskennungen enthalten, und der Server führt übliche Sicherheitsprotokolle. Die Daten sind deshalb de-identifiziert, aber nicht vollständig anonym.
Problemstellung
Zwei Probleme, ein System
Didaktik
Eine Klasse lernt in einem festen Tempo
Hardwarekosten und Aufsichtspflichten begrenzen den Robotikunterricht, weshalb Klassen oft eine feste Aufgabenfolge erhalten. Da Lernende nicht im selben Tempo vorankommen, benachteiligt diese Abweichung beide Enden der Klasse.
Messung
Programmierfähigkeit ist schwer zu bewerten
Anders als eine Multiple-Choice-Antwort hat ein Programm einen offenen Antwortraum und ein kontinuierliches Ergebnis. Übliche adaptive Testverfahren setzen beides nicht voraus und müssen daher für die Messung von Programmierleistung angepasst werden.
Beiträge
Was daran neu ist
- 01
Adaptive Auswahl aus einer generierten Aufgabenbank
Die Aufgaben stammen nicht aus einer festen Liste. Aufgabenfamilien erzeugen und kalibrieren Kandidaten; anschließend wählt die Fisher-Information eine Aufgabe nahe der aktuellen Fähigkeitsschätzung. So kann die Bank wachsen, ohne jede Stufe von Hand zu entwerfen.
- 02
Generierte Aufgaben mit garantierter Lösung
Prozedurale Erzeugung und Erreichbarkeit stehen im Konflikt: Ein plausibles Ziel kann unerreichbar sein. Wird jeder Kandidat vor der Ausgabe gelöst, wird Lösbarkeit von einer Hoffnung zur Voraussetzung.
- 03
Kontinuierliche Punktzahlen in einem dichotomen Schätzer
Programmierleistung ist kontinuierlich, der verfügbare Schätzer jedoch nicht. Eine ordnungserhaltende Abbildung um eine aufgabenspezifische Beherrschungsschwelle bewahrt die Reihenfolge und lässt den Rohwert für Analysen unverändert.
- 04
Determinismus als Voraussetzung für Fairness
Der Server gibt jedes Programm wieder und schätzt die Zeit aus den Gelenkwegen. Die Client-Hardware kann das Ergebnis nicht verändern, was für wettbewerbliche oder diagnostische Bewertungen erforderlich ist.
Methode
Aufbau der adaptiven Ebene
Nach jedem Versuch schätzt die Plattform den Lernstand neu und wählt eine passende nächste Aufgabe. Wer sicher abschließt, erhält eine schwierigere Aufgabe; bei Problemen wird zurückgestuft. So bekommt jeder Lernende eine passende Stufe.
Modell
Logistisches Zwei-Parameter-Modell
Das Modell verwendet Fähigkeit θ auf einer Logit-Skala, Aufgabenschwierigkeit b und Trennschärfe a. Der Rateparameter ist null: Die Antwort ist ein Programm und keine Auswahl, daher gibt es nichts zu erraten. Ein dritter Parameter würde hier nur Rauschen anpassen.
Antwort
Das Programm ist die Antwort
Das Program IR eines Lernenden wird serverseitig wiedergegeben und bewertet. Der normierte Wert wird um die Beherrschungsschwelle τ der Aufgabe so abgebildet, dass „über τ“ und „beherrscht“ übereinstimmen, und dann an den Schätzer übergeben. Der Rohwert wird getrennt gespeichert.
Auswahl
Erst Informationswert, dann Begrenzung der Aufgabenausgabe
Kandidaten werden nach ihrem Informationswert beim aktuellen θ geordnet und anschließend in ihrer Ausgabe begrenzt. Dadurch erhalten Lernende gleicher Stufe nicht alle dieselben Aufgaben, und die Aufgabenbank wird nicht überbeansprucht.
Erzeugung
Schwierigkeit als Ziel, nicht als nachträgliches Ergebnis
Aufgabenfamilien verwenden schwierigkeitsrelevante Merkmale wie Sicherheitsabstand, Erreichbarkeitsbelastung, Budgetdruck und Schleifenstruktur. Jeder Kandidat wird für eine Zielschwierigkeit b gelöst und bei der Erzeugung verworfen, wenn der Referenzlöser keine Lösung findet.
Kalibrierung
Vorläufig, bis genügend Daten vorliegen
Eine neue Aufgabe beginnt vorläufig: mit begrenzter Ausgabe und ohne Einfluss auf reguläre Fähigkeitsaktualisierungen. Sobald Antworten vorliegen, wird ihre Schwierigkeit durch Newton-Iteration der marginalen Likelihood neu angepasst, wobei θ auf den Posterior-Mittelwerten festgehalten wird.
Diese Version behandelt Fähigkeit als ein zusammengesetztes θ und speichert Dimensionsmerkmale an jeder Antwort für Berichte. Ein echtes mehrdimensionales Modell ist ein künftiger Schritt, keine hier erhobene Behauptung.
Validität
Eine unlösbare Aufgabe misst nichts
Eine Zielfrisur zuerst zu zeichnen und auf die Erreichbarkeit durch den Arm zu hoffen, funktioniert nicht. Eine frühe Aufgabe verlangte 91 Haarteile, obwohl der Arm nur 20 erreichen konnte. Sie war unlösbar, ohne dass die Lernenden gewarnt wurden.
Nun läuft der Löser zuerst. Ein Zielkandidat wird im kollisionsfreien Gelenkraum geprüft und dann an einen Referenzlöser übergeben. Kann dieser ihn nicht abschließen, wird der Kandidat bei der Erzeugung verworfen und nie ausgegeben. Die Lösung legt Referenzkosten und Referenzzeit der Stufe fest.
Die erreichbare Menge umfasst alle Voxel, die das Werkzeug beim Durchlaufen des kollisionsfreien Gelenkraums berühren kann. Da diese Berechnung aufwendig ist, wird sie einmal ausgeführt und als Testfixture gespeichert. Tests prüfen anschließend, ob die Referenzlösung wiedergegeben werden kann und kein Ziel in einem unerreichbaren Bereich liegt.
Der Fehler, der den Anstoß gab
Lernende könnten diese strukturelle Unmöglichkeit als eigenes Versagen auffassen. Die Fähigkeitsschätzung würde dieses Scheitern anschließend als Datengrundlage verwenden.
Reproduzierbarkeit
Wovon ein Ergebnis abhängt
Deterministische Erzeugung
Die Frisurenerzeugung ist eine reine Funktion der Aufgabenkonfiguration. Dieselbe Konfiguration liefert stets dieselbe geordnete Voxelmenge; der Ablauf enthält keinen Zufall.
Serverseitige Wiedergabe
Wettbewerbspunkte entstehen durch die Wiedergabe des eingereichten Programms im Dienst, niemals durch eine vom Browser gemeldete Zahl.
Geschätzte statt gemessene Zeit
Die Ausführungszeit wird aus Gelenkweg und eingestellten Geschwindigkeiten berechnet. Sie ist damit eine Eigenschaft des Programms und nicht des ausführenden Rechners.
Festgeschriebener Übertragungsvertrag
App und Dienst verwenden dieselben Bewertungs- und Programmtypen. Protokolländerungen sind rein additiv, sodass ältere Clients weiter funktionieren.
Weitere Angebote
Publikationen und Team
Publikationen
Konferenzbeiträge, Patente und BibTeX der HCR-Gruppe, einschließlich Arbeiten am adaptiven Lern- und Testsystem dieser Plattform. Die Sammlung wird auf der Website von Pmine Research gepflegt.
Das Team
Pmine Research bei Field of Dream Studio entwickelt HCR. Vollständige Profile stehen auf der Website der Gruppe.