О сервисе

В проекте применяется уникальная авторская разработка системы контроля знаний именуемая "Опросно-тестовый контроль".

Система контроля знаниями на базе опросно-тестового метода

В системах контроля знаниями применяются различные инструменты и технологии, решающие определенные задачи. Одним из основных задач являются контроль и оценка знаний. В качестве инструмента решения данной задачи, как правило, применяются системы тестового контроля знаний.

Представим процесс тестового контроля знаний и обозначим некоторые ограничения (Рисунок 1). Допустим на определенный материал имеется 1 000 вопросов. Необходимо произвести два промежуточных теста по 30 вопросов и итоговый тест на 40 вопросов. В итоге, во время тестирования будут применены максимально 100 вопросов из общего количества вопросов на материал, что составляет 10%.


Рисунок 1. Процесс тестового контроля знаний. Традиционное представление.

 

При применении данной системы контроля допускаются следующие ограничения:

  • Из-за малого количества проведения тестового контроля отбирается малая часть вопросов из общего числа тестовых заданий, что ограничивает возможность провести тестирование по всему материалу;

  • Из-за малого количества результатов тестирования, сложно объективно оценить знания в общем объеме.

В свою очередь, тестовые задания также имеют ограничения, влияющие на общую оценку знаний:

  • Трудность определения уровня сложности задания (коэффициент сложности вопроса);

  • Два неправильных ответа на один и тот же вопрос оцениваются одинаково (коэффициент варианта ответа);

  • Правильные ответы на два разных вопроса оцениваются одинаково;

  • Допущение вероятности угадывания ответа.

Обзор «Опросно-тестового метода контроля знаний».

Система управления знаниями на основе опросно-тестового метода контроля знаний (далее – ОТК) имеет иную парадигму, где в качестве результата определяются области: «Знание», «Незнание» и «Ошибочное знание». Процесс тестового контроля знаний в ОТК представлено на рисунке 2.

Рисунок 2. Процесс тестового контроля знаний в ОТК.

 

Структуру тестового задания в ОТК по сравнению с традиционным представлением продемонстрирована на рисунке 3. В ОТК прохождение тестовых заданий проводиться в два этапа: «Опросный» и «Тестовый». Первый этап «Опросный» представляется в виде формулировки основной части задания и ответов к заданию в виде опроса с двумя вариантами ответа: «Знаю ответ» и «Не знаю ответ». При выборе ответа «Не знаю ответ», происходит переход на следующее задание, а при выборе ответа «Знаю ответ» происходит переход на этап «Тестовый». На этапе «Тестовый» представляются варианты ответов к текущему заданию, где предлагается процесс прохождения традиционного тестового задания закрытой или иной формы тестового контроля.

        

Рисунок 3. Структуры тестового задания.

Соответственно, задания в ОТК приобретают новые свойства и применяются в различных формах:

  • в виде опроса на этапе «Опросный»;

  • в виде тестового задание закрытой или иной формы на этапе «Тестовый»;

  • в виде проблемного вопроса в материалах.


 Смена парадигмы.

Если в традиционном тестировании целью была аттестация знаний, то цель тестирование в ОТК является коррекция знаний. Таким образом, в ОТК задача тестирования состоит не в сдаче теста и получении оценки для выявления области знания, а в выявлениях областей слабоизученного материала (область незнания) и, в конечном итоге – к корректировке и управлению этими знаниями. Массивы данных по результатам являются, своего рода, учебной аналитикой по изучаемому материалу.

ОТК предлагает следующие преимущества:

  • Тестирования можно проходить где угодно и с любого устройства (ПК, планшет, смартфон);

  • Возможно прохождение бесчисленного количества попыток и неограниченное время;

  • Тестирование проводиться в любой момент и на любом этапе изученного материала;

  • Исключается вероятность угадывания ответа.

  • Действует принцип «повторение – мать учения».

 Компетенции в ОТК.

Если в традиционном тестировании в качестве результатов имелись весьма скудные данные для определения компетентности, то в ОТК на выходе предлагаются массивы данных, с которыми можно всячески оперировать для интерпретации результата и оценке уровня компетенции. Также, применяя различные функции тестовых заданий (Рисунок 4) возможно еще более глубоко разделять уровни компетенции. Условно компетенции можно разделить на четыре уровня (Таблица 1. «Компетенции (проф./академ.)»). Названия уровней компетенций, представленные в таблице 1 обозначены для применения в профессиональной (проф.) и в академической (академ.) средах. Для достижения определенного уровня необходимо произвести некоторые действия (Таблица 1. Действия для достижения), используя функции и инструменты ОТК. В качестве результативности определенного уровня компетенции предлагаются различные показатели и индексы (Таблица 1. Показатели / индексы).

 

Таблица 1. Компетенции в ОТК.

Компетенции (проф./академ.) Действия для достижения Показатели / индексы

Новичок / Школьник

•   Ответил «Не знаю»

•   Ответил «Не правильно»

•   Количество ответов «Не знаю». Синдром «Незнайки»

•   Количество не правильных ответов. Синдром «Знайки»

Профессионал / Бакалавр

•   Записал шпаргалку

•   Ответил «Правильно»

•   Количество шпаргалок

•   Количество правильных ответов

Специалист / Магистр

Использовал шпаргалки

(свои или чужие).

Количество использований шпаргалок (своих и чужих).

Эксперт / Доктор

Опубликовал шпаргалку.

•   Количество публикаций

•   Индекс полезности публикации

 

В зависимости от интенсивности применения ответа «Я не знаю» и ответа «Я знаю» на этапе «Опросный» и с последующим получением результата «Не правильно» уровень 1 «Новичок/Школьник» можно условно разделить на два подуровня: «Знайка» и «Незнайка». Если показатели буду достаточно большими по данным компетенциям, то результаты можно интерпретировать как синдромы и обозначить их как: Синдром «Знайки» и синдром «Незнайки».

Квалификация в ОТК.

Как правило, материалы предмета изучения знаний по истечению времени претерпевают изменениям. Часть знаний устаревают и возникают новые знания. В ОТК предоставляется возможность за отслеживанием такого рода изменениям на основе ранее полученных результатов. Предлагается три режима квалификации знаний в ОТК (Рисунок 4):

  1. Полное повышение квалификации – поддержка знаний «в тонусе» путем повторного изучения актуального и нового материала;

  2. Частичное повышение квалификации – получение новых знаний;

  3. Архивация квалификации – ознакомление с устаревшими знаниями.


Рисунок 4. Цикл повышения квалификации в ОТК.

Тренды и перспективы развития.

ОТК может быть применима со следующими трендами обучения:

  • Смешенное обучения (Blended learning);

  • Перевернутое обучение (Flipped learning);

  • Коллективное обучение (Collaborative learning);

  • Игрофикация процесса обучения (Gamification).

Перспективы развития возможны при интеграции с технологиями:

  • Спецификация Experience API (Tin-Can API / xAPI). Соответствие современной спецификации систем дистанционного обучения;

  • Мобильное обучение и концепция BYOD (Mobile learning + BYOD). Процесс прохождения ОТК из любого персонального устройства (ПК, планшет, смартфон, смарт-часы);

  • Большие данные (Big Data). Автоматическая обработка большого объема данных по результатам тестирования для дальнейшей интерпретации и принятия решении по управлению знаниями;

  • Чат-бот (Chatbot). Режим работы в виде робота в чате для автоматического проведения тестирования ОТК в форме беседы.

 

Список используемых источников

  1. Мереке А.А. Модель адаптивного обучения на основе опросно-тестового метода контроля знаний. – Научный журнал «Вестник КазАТК» № 4 (94), 2015. – С. 113-118.