Обзор системы тестирования INDIGO: неподкупный экзаменатор

Автор: Виктор Фрэйн
Опубликовано: 28.06.2013
Источник: SoftKey.info

Нужно сказать, что школой и университетами область применения тестостроительных программ абсолютно не исчерпывается. Здесь и рекрутинговое тестирование (оценка качества соискателей), и текущий контроль квалификации сотрудников. Немалую долю тестов занимает сфера социологии (выяснение мнения тех или иных слоев общества), маркетинга, а также напаханное поле для психологов.

Главным фактором развития такой ветки программ, как системы тестирования, является, конечно же, автоматизация. Разработчику тестов должно быть удобно их создавать и адаптировать, администратору - удобно управлять всей системой тестирования, а тестируемому - удобно сдавать, не заботясь о чем-либо другом, кроме своих знаний.

Программа INDIGO - это Windows-приложение, построена она по принципу клиентсерверных решений. Есть серверная часть с базой тестов и пользователей (с нарезанными правами доступа и грамотно выстроенной иерархией).

Схема работы INDIGO

Есть клиентская часть, с помощью которой пользователь регистрируется в системе (если его не зарегистрировали сразу), сдает тест, знакомится с результатами тестирования (которые ему положено видеть, ведь не всегда это имеет смысл делать: например, в тестировании на "верность компании" результаты попадают руководителю, а не подопытному тестируемому сотруднику).

Как тесты, так и списки тестируемых могут импортироваться из внешних источников. Например, элементарная таблица со списком учеников класса 9-А, заботливо набранная в Excel, тоже сгодится.

Интересен тот факт, что с программой сразу ставится веб-сервер, но особо глубоких знаний на уровне системного администратора для управления им, в общем-то, не требуется. Возможно удаленное администрирование (LAN/Inernet).

Клиентсерверная модель INDIGO - работа через локальную сеть и Интернет

Админ-модуль унифицирован и призван облегчить жизнь администраторам (а их может быть в одной системе несколько). Его блоки таковы:

Блоки собраны воедино, поэтому далеко залезать не придется. Особенно радует, что авторы не пошли по пути выноса каждого модуля в какие-нибудь отдельные test.exe, user_config.exe, rules.exe, server.exe, result_master.exe и прочего дробления на отдельные исполняемые модули. Удобно. Все близко, в пределах "размаха крыльев".

К системе программа вполне лояльна (Windows не ниже WinXP): расход памяти на сервер с включенным админ-модулем - чуть менее 200 Мб. А вот память под пользователей определяйте, исходя из масштаба тестирования. По расчетам авторов для системы с двумя сотнями тестируемых нужен сервер с 2 Гб ОЗУ.

Сами авторы немало внимания уделяют оптимизации нагрузки, которую дает комплекс. Так, в тестируемой версии 2.0 beta 12 разработчик позаботился о тех сетях, где слабая пропускная мощность сети, большая и неповоротливая база (и, как пишется в релизной информации, много одновременно нагружающих базу администраторов). Доработки включили сокращение лишнего трафика, уменьшение числа запросов к серверу и ускорение времени их обработки.

Насчет безопасности скажу так. Ломать систему суперметодами, какими ломают супервзломщики, вряд ли кто-то будет, а вот безопасность в рамках отдельно взятой системы тестирования выстроена вполне убедительно. Начиная от настройки доступов по IP, паролирования доступов к тестам, расстановки учетных записей до шифрования при экспортировании.

Установка пароля

Даже CAPCHA при регистрации имеется (очень, кстати, суровая капча).

Регистрация нового пользователя

Впрочем, в LAN того же вуза вероятность регистрации ботами крайне мала, в основном все студенты да школьники. А вот в интернет-системах - посложнее будет.

Кстати, сами же разработчики для построения интернет-сетей тестирования предлагают такое любимое у сетевых геймеров решение, как VPN с помощью системы Hamachi.

Меню сервера выглядит следующим образом:

Меню сервера (левая часть)

Меню сервера (правая часть)

Пункт "Сетевые интерфейсы" - позволяет добавить и убрать порты. "Ограничения доступа" - открывается окошко разрешений и запретов по IP (плюс ключевое слово "всем") с установкой очередности: сначала запрещать или сначала разрешать.

"Настройки веб-интерфейса" позволяют настроить вид и поведение клиентской части в браузере.

Настройка пользовательского интерфейса

Также в наличии два модуля - управление перечнем администраторов и их паролей и оптимизация (сжатие) базы данных.

Клиентский блок - это, по сути, доставка контента (тестов) прямо в браузер, желательно в Chrome (совет разработчика). Поддерживаются все четыре главных браузера, Internet Explorer - традиционно со своими небольшими "выбрыками" вроде информирования об устаревшем браузере (совет на тему). Кроме него авторы также очень не рекомендуют Opera, ссылаясь на низкую скорость работы.

Клиентская часть

Веб-интерфейс - категорически правильное решение, поскольку при обновлении какой-нибудь мелочи или же при глобальном апдейте нет необходимости бегать по рабочим местам и обновлять клиентскую часть - в браузер пользователя загружается самое актуальное содержимое.

Пользователь сдает тест через браузер

Веб-интерфейс работает через 85-й порт (можно менять, как указано выше) по адресу 127.0.0.1 (localhost).

Работа с тестами заключается в таких четырех основных категориях:

1. Тест-конструктор. Очень удобный и гибкий. Хотите ограничение по времени и перетасовывание вопросов, чтобы студенты не расслаблялись? Легко. Хотите тесты с вопросами-слайдерами (расставить по порядку), установкой соответствий или с вводом ответа вручную (возможно даже сравнение введенного текста с регулярным выражением в стиле Perl)? Элементарно, Ватсон!

   

   Если уж такие относительно экзотические варианты возможны, то насчет "птичек" в многовариантных ответах я вообще молчу. Все что угодно. Плюс вставка графики, таблиц и разнообразных внешних элементов. Эдакий миниатюрный MS Word. Встроенное форматирование здесь весьма кстати. Нет необходимости использовать внешние приложения и потому думать, как оно будет выглядеть в браузере, не поплывет ли форматирование. В планах на будущее у разработчиков - более плотная работа с мультимедийным контентом.
2. Иерархичность. Было бы странно, если бы наборы тестов и группы тестируемых нельзя было объединять по тем или иным критериям (например, "входящее тестирование", "выходное тестирование", студенты по факультетам, тесты детей одного, другого, третьего возраста). Иерархичность возможна в любом ключе, как вам заблагорассудится.
3. Вариативность оценки одного и того же теста и правила доступности для той или иной группы, а также в зависимости от попадания в диапазон шкал. Простейший пример: какой-нибудь тест на эрудированность не может одинаково оцениваться для ребенка, юноши, взрослого и пожилого тестируемого. Соответственно, можно прописать и правила доступа - к дошкольным тестам не пускать старших, а к тестам по квантовой физике не пускать студентов медколледжей. И, соответственно, баллы выставлять в зависимости от возраста. Аналогично по специальностям, должностям и т. д.
4. Отчетность. Разумеется, тестирование - вещь серьезная, а зачастую и очень серьезная. Особенно если от нее зависит, будет ли работать человек или встанет на биржу труда. Потому и необходимо результаты тестирования распечатывать, обязательно заверять подписью тестируемого (уверен, что это необходимо делать!) и помещать в архив. Кроме того, заготовки тестов можно просто печатать и устраивать тестирование в письменном виде, без компьютеров. В электронном виде результаты могут быть задокументированы как в текстовом формате, так и в форматах Excel, HTML и XML.

Сохранение результатов тестирования

Краткий порядок подготовки тестов

Создаем или загружаем готовый тест (расширение itest) и добавляем вопросы.

Когда находимся в теле вопроса, то меню форматирования (и контекстное меню) выглядит вот так:

Слева в древовидном меню выбираем "Настройки", где выставляем разнообразные ограничения на тест. К примеру, можно выбрать "контроль знаний" (оценка ставится) и "опрос" (оценка не ставится, просто сбор информации).

Также рядом находится вкладка "Инструкция", где вы можете задать требования, которые обязательно должны быть прочитаны тестируемым.

Не забудьте зайти в настройки результатов тестирования, чтобы адекватно оценить ответы.

Шкала и настройки результатов тестирования

Добавляем пользователей и группы пользователей, которые будут сдавать те или иные экзамены.

Перейдя на вкладу "Правила", вы можете добавить и отредактировать упомянутые выше разрешения на тестирование. Слева будут группы тестов, справа группы пользователей. Ставите, кому что нужно, включая возможность планирования по времени и дате сдачи.

Когда тестирование окончено, можете подготовить и распечатать нужные протоколы и отчеты.

Протокол тестирования

Настройка отчета

Печатная форма отчета

Более подробно о всех особенностях программы вы можете прочитать в инструкции (76-я стр.).

Нюансы

1. Иногда лучше один раз протестировать, чем сто раз прочитать. Поэтому для полного понимания работы комплекса можете отсюда скачать набор тестовых тестов (извиняюсь за такой тавтологический каламбур), а отсюда или отсюда - демоверсию программы. И посмотреть, как она работает. На данный момент доступно семь видов тестов, включая демо ЕГЭ-2011. Программа для домашнего и ознакомительного пользования имеет свободную лицензию, но ограничена лишь одним активным соединением.
2. Обратите внимание, что путь, куда устанавливается программа, должен быть только на латинице.
3. При импорте вопросов в уже созданный тест вам нужно будет ознакомиться с краткими правилами, которым должен соответствовать импортируемый файл: отделять блоки вопросов пустыми строчкам, каждый вопрос и ответ начинать с новой строки, рядом с правильным ответом ставить знак "звездочка" (астериск).
4. Еще важный момент. Для правильной работы с группами вопросов ознакомьтесь с определением и описанием правильного порядка вывода вложенных групп и вопросов (стр. 17 инструкции). Здесь вы определите: выдавать элементы в прямом порядке, как сразу записано в тесте, либо перемешивать (перемешивать можно только элементы группы, а не входящих в нее подгрупп - в противном случае могла бы получиться путаница). Примеры для конкретных случаев приводятся с 17-й по 20-ю страницу.

Итоги

Когда я начинал анализ этой программы, она казалась мне более простой, чем оказалась в итоге. На деле это вполне крепкий и гибкий в установке и обслуживании клиентсерверный пакет с достаточно прозрачным интерфейсом, позволяющий создавать тесты практически любого уровня сложности. Вся информация сравнительно легко организуется, анализируется и архивируется, позволяя упорядочить документооборот, связанный с тестированием как в учебных заведениях, так и в работе с персоналом, а также в любых случаях, где опросы и оценка знаний нужны или хотя бы просто желательны. Одобряю.