Исследование
Исследование адаптивного обучения робототехнике и цифровых двойников
HCR — научный инструмент для оценивания программ Blockly, адаптивного обучения и робототехнического образования с цифровыми двойниками. Участник решает, присоединяться ли, до создания игрока или сеанса.
Участие
До начала выберите, хотите ли вы участвовать
Клиент не создаёт сеанс симулятора или идентификатор игрока, пока человек не решит участвовать в исследовании.
Необходимые данные исследования
Скомпилированный Blockly Program IR, версия задания, оценка и технические идентификаторы сеанса или отправки, необходимые для воспроизведения и анализа.
Дополнительный контекст
Основной язык записывается только общим кодом, например zh или en. Смещение UTC хранится как число минут. Кнопка «Участвовать» включает оба поля; в дополнительных настройках их можно отключить по отдельности.
Что мы не собираем
Мы не собираем отпечатки браузера, точные имена часовых поясов IANA, предполагаемое местоположение, рекламные идентификаторы или профили межсайтового отслеживания.
Как мы описываем данные
Мы не называем эти данные полностью анонимными. В материалах исследования могут сохраняться идентификаторы сессий, а сервер ведёт обычные журналы безопасности, поэтому данные считаются обезличенными.
Постановка задачи
Две проблемы, одна система
Педагогика
Весь класс движется в одном темпе
Стоимость оборудования и требования к надзору ограничивают обучение робототехнике, поэтому весь класс часто идёт по одной программе. Темп обучения у всех разный, и это несоответствие мешает как более быстрым, так и более медленным учащимся.
Измерение
Умение программировать трудно оценить
В отличие от ответа с выбором, программа имеет открытое пространство решений и непрерывный результат. Стандартные методы адаптивного тестирования не рассчитаны ни на то, ни на другое, поэтому для оценки программирования их необходимо адаптировать.
Научный вклад
Что нового в этой работе
- 01
Адаптивный выбор из генерируемого банка заданий
Задания берутся не из фиксированного списка. Семейства генерируют и калибруют варианты, а информация Фишера выбирает подходящий к текущей оценке способности. Банк растёт без ручного создания каждого уровня.
- 02
Генерируемые задания с гарантированным решением
Процедурная генерация может создать правдоподобную, но недостижимую цель. Решение каждого варианта до выдачи превращает выполнимость из надежды в обязательное условие.
- 03
Непрерывные баллы в дихотомическом оценивателе
Результат программирования непрерывен, а доступный оцениватель — нет. Преобразование относительно порога освоения сохраняет порядок и исходный балл для анализа.
- 04
Детерминизм как условие справедливости
Сервер повторно выполняет каждую программу и оценивает время по перемещению суставов. Оборудование клиента не меняет результат, что необходимо для соревнований и диагностики.
Метод
Как устроен адаптивный слой
После каждой попытки платформа заново оценивает уровень и подбирает следующее задание. Уверенный успех повышает сложность, затруднение — снижает её.
Модель
Двухпараметрическая логистическая модель
Модель использует способность θ по логит-шкале, сложность вопроса b и различающую способность a. Параметр угадывания равен нулю: ответом служит программа, а не набор вариантов, поэтому угадывать нечего. Оценка третьего параметра лишь подгоняла бы шум.
Ответ
Программа и есть ответ
Сервер воспроизводит Program IR учащегося и выставляет балл. Нормированный балл перенастраивается относительно порога освоения τ, чтобы «выше τ» соответствовало «освоено», а затем передаётся оценивателю. Исходный балл хранится отдельно.
Выбор
Сначала информация, затем контроль экспозиции
Кандидаты ранжируются по информативности при текущем θ, после чего число показов ограничивается. Поэтому учащиеся одного уровня не получают одни и те же вопросы, а банк заданий не истощается.
Генерация
Сложность как цель, а не случайный результат
Семейства заданий используют признаки, предсказывающие сложность: запас пространства, трудность достижения, ограничение бюджета и структуру циклов. Каждый кандидат решается для целевой сложности b и отбрасывается при генерации, если эталонный решатель не находит решения.
Калибровка
Предварительный статус до накопления данных
Новый вопрос сначала получает предварительный статус: число показов ограничено, а ответы не учитываются в основных обновлениях способности. После накопления ответов сложность повторно оценивается методом Ньютона по маргинальному правдоподобию при θ, зафиксированном на апостериорных средних.
В этой версии способность представлена одним составным θ, а для отчётности каждый ответ получает метки измерений. Настоящая многомерная модель — будущая работа, а не заявленное свойство текущей версии.
Валидность
Задание, которое никто не может выполнить, ничего не измеряет
Нельзя сначала нарисовать целевую причёску и просто надеяться, что манипулятор до неё дотянется. В одном из ранних заданий требовалось удалить 91 элемент волос, хотя робот мог достать лишь до 20. Задание было невыполнимым, но учащегося об этом не предупреждали.
Теперь решатель запускается первым. Кандидатная цель проверяется во всём бесколлизионном пространстве суставов и передаётся эталонному решателю; всё, что он не может завершить, отбрасывается при генерации и не выдаётся учащимся. Найденное решение задаёт эталонные стоимость и время уровня.
Множество достижимости объединяет все воксели, которых инструмент может коснуться при обходе бесколлизионного пространства суставов. Такой расчёт дорог, поэтому выполняется один раз и сохраняется как тестовая фикстура. Затем тесты проверяют воспроизводимость эталонного решения и отсутствие целей в недоступных зонах.
Ошибка, которая привела к этому решению
Учащийся может принять принципиально невыполнимое задание за собственную неудачу, а оценка способности — использовать эту неудачу как данные.
Воспроизводимость
От чего зависит результат
Детерминированная генерация
Причёска генерируется чистой функцией конфигурации задания. Одна и та же конфигурация всегда даёт одинаково упорядоченный набор вокселей без случайности.
Повторное выполнение на сервере
Соревновательный балл вычисляется при воспроизведении отправленной программы сервисом, а не берётся из сообщения браузера.
Расчётное, а не измеренное время
Время выполнения рассчитывается по перемещению суставов и заданным скоростям, поэтому зависит от программы, а не от запустившего её компьютера.
Зафиксированный контракт обмена
Приложение и сервис используют общие типы оценки и программы. Протокол только расширяется, поэтому старые клиенты продолжают работать.
Другие сайты
Публикации и команда
Публикации
Доклады конференций, патенты и BibTeX группы разработчиков HCR, включая исследования адаптивной системы обучения и тестирования этой платформы. Коллекция поддерживается на сайте Pmine Research.
Команда
Pmine Research из Field of Dream Studio разрабатывает HCR. Полные профили доступны на сайте группы.