В научной литературе (Н.В.Кузьмина и др.) выделяются следующие типичные ошибки при проведении рейтинга.

1. Ошибка великодушия: склонность компетентных экспертов завышать оценку, преимущественно выделять достоинства оцениваемого.

2. Ошибка центральной тенденции- эксперты не решаются давать высшие или низшие оценки (при использовании шкал для предотвращения этой ошибки на концах шкалы следует ввести более детальные разграничения, которые объединяются при обсчете результатов).

3. Тенденциозность экспертов: снижается за счет «принудительного» выбора (например: «Какие два признака из четырех наиболее характеризуют индивида: верность слову, доводит начатое дело до конца, не допускает небрежности в работе, огорчается в случае неудачи?»).

4. Логическая ошибка: предотвращается, если для оценивания предложены не черты или свойства человека, а их проявления (например, не «Добрый ли он?», а «Как часто оказывает помощь одноклассникам?»).

5. Ошибка контраста: эксперт оценивает испытуемого на основе собственных свойств (следует переключить внимание эксперта на сравнивание испытуемых друг с другом или с предложенным эталоном, нормой).

6. Ошибка близости: возникает, когда один и тот же эксперт оценивает одновременно несколько черт испытуемых (в одно наблюдение следует оценивать только одну черту или свойство испытуемых).

Тесты в психолого-педагогической диагностике

Тест –это испытание или измерение, проводимое для определения способностей или состояния человека.

Общие положения

Классификации тестов имеют следующие основания:

- форма заданий — тесты устные и письменные, аппаратурные и бланковые, предметные, компьютерные;

- содержание (предмет) диагностирования — тесты, изучающие свойства интеллекта, способности, отдельные характеристики личности и т.д.;

- цель тестирования — тесты, предназначенные для самопознания, диагностирования специалистом или профессионального отбора;

- задачи — тесты вербальные и практические;

- формы процедуры обследования — тесты индивидуальные и групповые;

- направленность — тесты, диагностирующие различные стороны, качества, свойства личности или группы;

- наличие или отсутствие временных ограничений на выполнение тестовых заданий — тесты, учитывающие скорость выполнения заданий, и тесты результативности;

- уровень стандартизации — тесты высокостандартизированные и слабостандартизированные.

Работа над составлением тестов начинается со структурирования учебного курса, выделения в нем таких содержательных блоков, которые более или менее подходят для проверки знаний. Затем разрабатываются вопросы по каждой структурной единице и на этой основе составляется план теста.

В психолого-педагогическом исследовании используются 4 основных вида тестовых вопросов.

1. Закрытые вопросы: испытуемому предлагают выбрать ответ из нескольких (как правило, 3 — 5) вариантов. Один из них — полный и правильный, другие — либо неполные, либо представляют типичные ошибки.

Например, на вопрос «Что называют медианой?» могут быть даны следующие варианты ответов: 1) это прямая, которая делит угол пополам; 2) это отрезок, который соединяет вершину треугольника с серединой противоположной стороны; 3) это луч, исходящий из вершины треугольника и делящий пополам его противоположную сторону. (Правильный ответ — 2.)

2. Открытые вопросы: в предложенном утверждении имеется пропуск для заполнения его испытуемым.

Например: «Биссектриса — это луч, делящий (1)_______пополам; Аналогичным может быть задание на дополнение рисунка, текста, предложения (например, составить подписи к различным частям рисунка).

3. Вопросы на соответствие: начало и окончание фраз располагаются в двух столбцах (например, слева помещаются понятия, справа — их определения). Как правило, вариантов справа дается больше, чем слева, поскольку среди вариантов есть верные и ошибочные. Например:

Название Определение

4. Вопросы на установление правильной последовательности: предполагают восстановление хронологической последовательности событий, алгоритмической последовательности действий и т.п.

Тестирование возможно на бумаге, когда каждому испытуемому выдается список заданий, или в автоматизированной форме с помощью компьютера. После окончания тестирования начинается математическая обработка полученных результатов.

Итогом тестирования группы учащихся является матрица результатов. За каждое правильно выполненное задание ставится единица, а за невыполненное — ноль. Таким образом, уровень знаний учащегося выражается в определенной сумме баллов. Если расставить учащихся в порядке убывания количества полученных баллов, получится ранжирование их по уровню знаний. Регулярное ранжирование учащихся дает педагогу представление о динамике результатов своей деятельности, о результативности тех или иных методов обучения. Регулярное тестирование позволяет индивидуализировать методы и приемы обучения и воспитания учащихся.

Тесты не могут рассматриваться как универсальный и всеобъемлющий инструмент педагогического контроля в школе, даже в рамках контроля за успеваемостью учащихся. Ибо каждое задание теста и весь тест, поскольку он составлен из однородных заданий, направлены на выявление ограниченного комплекса признаков усвоения и понимания, и чем меньше признаков входит в комплекс, тем яснее возможная интерпретация результатов и тем лучше тест выполняет свою диагностическую функцию¹.

Типы тестов в психолого-педагогической диагностике.

Тесты достижений

В педагогической практике тесты и контрольные задания, используемые преимущественно для оценки уровня овладения учебным материалом, называются тестами достижений. Тест в готовом виде представляет собой не просто совокупность, а систему заданий возрастающей трудности. Одно из важнейших назначений теста состоит в том, чтобы опросить всех обучаемых по всем вопросам учебного материала в одинаковых условиях, применяя при этом ко всем без исключения одну и ту же заранее разработанную шкалу оценок.

Любой объект изучения может быть описан определенной системой знаний о нем. Эти знания отражают непосредственные факты, связи между объектами, законы, теории, включают методологические или оценочные знания (свойства, методы, события и состояния объектов). Одни и те же знания могут изучаться с различной полнотой, глубиной, обобщенностью, осознанностью и т.д. Выявление этих качеств знаний может быть целью тестирования.

Уровень усвоения знаний, умений и навыков определяется характером выполняемых действий. Степень сложности задания — количеством операций, необходимых для решения поставленной задачи

На 1-м уровне усвоения выполняются репродуктивные действия. Им соответствуют задания по образцу, утверждения с пропущенными словами, вопросы с вариантами ответов и т.д.

На 2-м уровне производятся алгоритмические действия. Предполагается применение усвоенных сведений в стандартных ситуациях. Для них также могут применяться вопросы с вариантами ответов, тесты на установление последовательности.

На 3-м уровне предполагаются реконструктивные действия: применение знаний в нестандартных ситуациях, выбор решения в ситуациях с несколькими неизвестными параметрами. Здесь помимо названных форм тестовых заданий могут использоваться тесты на соответствие, установление правильной последовательности.

На 4-м уровне предполагаются продуктивные действия. Здесь применяются задания открытой формы, без вариантов решения поставленной задачи или с нестандартизированными ответами.

Содержание теста определяется структурой знания, которым должен обладать учащийся. Задания формулируются кратко и недвусмысленно. Все ответы в случае необходимости их выбора должны быть правдоподобными.

Личностные тесты— это методы психодиагностики, с помощью которых измеряют различные стороны личности индивида: установки, ценности, отношения, эмоциональные, мотивационные и межличностные свойства, типичные формы поведения. Обычно личностные тесты применяются в одной из следующих форм: 1) шкалы и опросники; 2) ситуационные тесты или тесты действия с перцептивными, когнитивными или оценочными задачами (определяется усвоение знаний), оценкой себя, своих личностных конструктов и пр.

Специфические свойства личностных тестов. В отличие от тестов успеваемости и гестов способностей, которые требуют от испытуемого максимального и быстрого выполнения, поиска лучшего решения и т.п., отчего зависят тестовые оценки, личностные тесты имеют ряд выделенных В.Г.Максимовым особенностей:

- в них внимание испытуемого обращается на то, что нет правильных и неправильных ответов, главное — искреннее, правдивое изложение фактов, точное выполнение инструкций и т.п.;

- их подлинное назначение, как правило, скрывается от испытуемых (тесты отношений, измерения внушаемости, правдивости, доброты, склонности к сотрудничеству и т.д.);

- важным является установление частоты обнаружения какого-либо свойства, широты и интенсивности его проявления.

Проективные тесты— это совокупность методик целостного изучения личности, которое основано на психологической интерпретации результатов проекции. Составители проективных тестов полагают, что человек всегда преобразует (хотя бы в восприятии и представлении) ситуацию, в которой он оказался, «насыщает» ее собственными проблемами, «проецирует» на нее содержание своей личности, так как процесс восприятия обусловливается следами прошлых впечатлений. К проективным тестам можно отнести, например, тест чернильных пятен Роршаха, тест по объяснению сюжета на картинках и др. Проективные тесты конструируются в двух видах. В ассоциативном проективном тесте предлагаются незаконченные предложения, рассказы, рисунки и*др. В экспрессивном тесте — участие в психодраме, игре, рисовании на свободную тему и др. Достоинство методики проективных тестов в том, что они облегчают демонстрацию скрытого содержания внутреннего мира субъекта, которое он не может выразить открыто. Это позволяет сориентироваться в сложных свойствах личности, не поддающихся точной оценке.

Тесты интеллекта— методики психодиагностики, ориентированные на выявление умственного потенциала индивида. Обычно в интеллектуальных тестах испытуемому предлагается установить логические отношения классификации, аналогии, обобщения между терминами и понятиями, из которых составлены задачи теста. Иногда необходимо правильно составить рисунок, собрать геометрическую фигуру, сложить из представленных деталей изображение предмета и др.

Тесты креативности— это методики для изучения и оценки творческих способностей личности. Диагностика творческих способностей ведется в двух направлениях: анализ жизненного опыта и индивидуальных особенностей творческой личности; анализ творческого мышления и его продуктов. Вопрос о креативности как о самостоятельном, не зависимом от интеллекта свойстве пока не решен. Тесты креативности не считаются надежными. При их помощи можно измерить такие качества, как беглость, гибкость мышления, оригинальность, чувствительность к проблемам и некоторые другие, но творческие достижения требуют более сложного сочетания способностей и свойств личности.

Критериально-ориентированные тестынаправлены на выявление уровня владения знаниями и навыками умственных действий, которые необходимы и достаточны для выполнения определенных классов учебных или профессиональных заданий. Критерием служит наличие или отсутствие этих знаний. Это инструмент обратной связи в организации процессов обучения. Результаты тестирования, проведенного с помощью этих методик, оцениваются не по порядковому месту испытуемого в выборке и не по отношению этих результатов к статистической норме, а по отношению ко всей сумме тестовых задач.

3) Разработка теста

Разработка теста — сложная теоретическая задача, она включает в себя анализ содержания учебного предмета или индивидуально-личностного свойства, его моделирование, подбор разнотипных и разноуровневых заданий, их проверку и отбор наиболее ценных, разработку процедуры анализа и оценки. Все эти действия требуют специальной научно-теоретической работы, и поэтому разработкой тестов занимаются исследовательские коллективы, в которые входят ученые и учителя-экспериментаторы.

В. П. Беспалько¹ предлагает выделять уровни тестов в соответствии с уровнем усвоения учебного материала.

Тесты I уровня предназначены для проверки умений учащихся выполнять действия с подсказкой; к ним относятся тесты на опознание, тесты на различение и тесты на соотнесение.

Тесты II уровня предназначены для выявления умений учащихся самостоятельно по памяти воспроизводить и применять ранее усвоенные знания и умения; к ним относятся тесты на подстановку; тесты на конструирование ответа; тесты — типовые задачи, требующие выполнения расчетов на основе использования типовых правил и алгоритмов.

Тесты III уровня предназначены для выявления способности учащихся к продуктивным действиям эвристического типа; к ним относятся нетипичные задачи и задачи на принятие решений в нетипичных ситуациях.

Тесты IV уровня предназначены для выявления умений творчески использовать полученные знания; к ним относятся тесты-проблемы.

Задания теста разрабатываются в соответствии с требованиями валидности (соответствия уровня контроля за изучением учебного материала, содержания задания выявляемому уровню усвоения).

Задание должно быть типичным для предмета; объем задания (по содержанию, структуре, времени выполнения) должен обеспечивать выполнение теста за ограниченное время.

В тех случаях, когда для выполнения целостного задания требуется значительное (больше 15 — 20) количество действий (операций), а также большое количество времени, оно дробится на несколько заданий. Задание должно быть объективно посильным для выполнения учащимися на соответствующем этапе обучения, формулировка его содержания — раскрывать поставленную перед учащимся задачу: что именно он должен сделать, какие условия выполнить, каких результатов достичь.