Определение точности результатов наблюдения

Этот раздел открывает рассмотрение двух специфических факторов, способных отразиться на точности результатов наблюдения. Его завершает анализ проблемы надежности.

Поведение, которое регистрируется в обсервативном исследовании, может являться функцией от множества предшествующих и сопутствующих обстоятельств. Один из факторов, влияние которого на поведение нежелательно, — это само присутствие наблюдателя. Тем не менее присутствие наблюдателя и, как следствие, осознание испытуемым того, что он является объектом наблюдения, может так или иначе изменить поведение. Подобные эффекты входят в категорию реактивности — эффекта непреднамеренного влияния экспериментальных мероприятий на поведение испытуемого. Когда речь идет об обсервативном исследовании, эффект реактивности, как правило, называют проблемой влияния наблюдателя.

Вопрос о том, насколько важен эффект реактивности, уже давно является предметом научных споров. Есть основания полагать (например, Brody, Stoneman, & Wheatley, 1984; Russell, Russell, & Midwinter, 1992), что и взрослые, и дети ведут себя несколько иначе, зная, что за ними наблюдают; есть также свидетельства того,

что при определенных обстоятельствах наблюдение абсолютно не влияет на поведение, Хартманн и Вуд (Hartman & Wood, 1990) тщательно анализируют факторы, от которых зависит эффект реактивности. По их мнению, есть несколько способов снижения вероятности влияния наблюдателя. Один из них — дать испытуемым привыкнуть к присутствию наблюдателя, то есть ввести наблюдателя в обстановку до начала наблюдения и производить регистрацию только после того, как испытуемые привыкли к наблюдателю и возвратились к своему естественному поведению. Этот метод иногда называют «методом невидимки». Вариант его, который хотя и не всегда, но можно использовать, — наблюдение, производимое тем, с кем испытуемые уже хорошо знакомы,.кто является естественным персонажем в данной обстановке, например родителем или учителем. Выполнение функций наблюдателя известным лицом называется «включенным» наблюдением.

Еще одна стратегия — сокрытие факта наблюдения. Можно, к примеру, использовать скрытую камеру или одностороннее зеркало. Конечно, такая возможность нередко отсутствует — эти методы применимы только в специальных условиях. Кроме того, скрытое наблюдение связано с этическими, а также материально-техническими ограничениями. Как мы увидим в главе 8, наблюдение за людьми без их на то согласия может рассматриваться как нарушение принципов этики.

Второй недостаток обсервативных исследований — вероятность необъективности наблюдателя, которая является лишь частным случаем более общей проблемы. Многочисленные исследования, начатые Робертом Розенталем (Robert Rosen-thai, 1976), свидетельствуют о том, что ожидания исследователей, которые они привносят в свое исследование, иногда ведут к искажению результатов в направлении ожидаемых или желательных. Более подробно об этом рассказано в главе 5. В обсервативном исследовании присутствует риск того, что наблюдатель будет видеть и заносить в протокол только то, что ожидает увидеть, а не то, что происходит на самом деле.

Одним из доказательств может служить исследование Кент, О'Лири, Дайамент и Дитц (Kent, O'Leary, Diament, & Dietz, 1974). Наблюдателям были продемонстрированы видеозаписи, как было сказано испытуемым, исходной фазы и фазы экспериментального воздействия некой программы, направленной на коррекцию агрессивного поведения в школе. Половине наблюдателей было сообщено, что прогнозируется снижение уровня агрессии; другой половине — что никаких изменений не предвидится. Фактически все наблюдатели смотрели одну и ту же видеозапись, в которой никаких изменений поведения не происходило. Оценивая затем эффективность программы, 9 из 10 наблюдателей, ожидавших снижения уровня агрессии, сообщали о том, что оно действительно произошло; а 7 из 10 наблюдателей, не ожидавших изменений, не отмечали никаких изменений. Интересно, что протоколы, которые вели участники обеих групп в процессе просмотра видеозаписи, были сходными, однако окончательные оценки свидетельствовали о влиянии ожидания.

Результаты этого исследования говорят о том, что для снижения вероятности необъективности наблюдателя необходимо сделать систему оценки максимально специфичной и объективной. Чем шире простор для интерпретации, тем больше у наблюдателя возможностей исказить результаты собственной предвзятостью. Еще один способ снижения вероятности необъективности — сделать так, чтобы наблюдатель не знал о выдвинутых гипотезах или о том, к какой группе принадлежат испытуемые. Сокрытие информации, которая может привести к необъективности, является условием так называемого наблюдения «вслепую». Мотив его использования очевиден: если нет никаких ожиданий, нет и опасности эффекта ожидания. К сожалению, проведение наблюдения «вслепую» затруднительно, а в некоторых случаях — невозможно. Кроме того, даже если проведение наблюдения «вслепую» возможно, к нему прибегают далеко не всегда.

Еще одного рода проблемы так или иначе связаны с понятием надежности. Как отмечалось ранее, надежность означает согласованность результатов измерения. При использовании методов наблюдения ключевым моментом является единодушие наблюдателей: могут ли двое или более наблюдателей прийти к единым выводам относительно некоторого поведения? Такое согласие является необходимым условием точности результатов наблюдения. Однако выполнения этого требования недостаточно, поскольку существует вероятность того, что оба исследователя пришли к единому, но ложному выводу. Это вновь частный случай общего принципа: надежность — это необходимое, но недостаточное условие валидности.

Существует множество способов расчета надежности. Для определенного вида данных подходит коэффициент корреляции. Чем выше коэффициент корреляции между результатами, полученными двумя независимыми наблюдателями, тем выше надежность. Еще один, часто используемый индекс — процент совпадений. Предположим, оценка определенного вида поведения происходит 20 раз. Совпадение мнений двух наблюдателей в 19 случаях из 20 соответствует 93 %, достаточно высокой надежности. Совпадение только в 13 случаях из 20 соответствует 65 %, что может рассматриваться как неудовлетворительная надежность. О других методах расчета надежности, а также сложностях, связанных с каждым из них см.: .Mitchell, 1979 и Hartmann, 1982.

Вопрос о том, как рассчитать надежность, встает сразу, как только исследователь осознал необходимость надежности своего исследования. При обзоре журнальных статей (см. табл. 1.3) учитывалось наличие или отсутствие рассчитанного коэффициента надежности там, где это было желательно. Результаты обзора свидетельствуют о достаточно высоком, но не полном осознании необходимости учета фактора надежности: данные о надежности были представлены в 91 % случаев из тех, где эти данные были вполне уместны. Одом и Огава (Odom & Ogawa, 1992) более подробно рассматривают расчет коэффициента надежности в обсервативных исследованиях, включая анализ типов статистических показателей и критерии их использования.

Приемы повышения надежности легко описать, но не всегда легко использовать. До начала процедуры сбора данных наблюдатели должны пройти тщательную подготовку. Система оценок должна быть максимально четкой и конкретной. Для подготовки наблюдателей и уточнений системы оценок может использоваться пилотажное исследование, в ходе которого категории редко встречающегося и трудно оцениваемого поведения либо исключаются, либо трансформируются в более удобные категории. Наконец, если есть возможность, для того чтобы иметь непрерывную и воспроизводимую запись, лучше снимать поведение видеокамерой.

Как следует из вышесказанного, при сборе данных нужно как можно раньше позаботиться о надежности. Желательно также контролировать ее на всем протяжении исследования. О целесообразности этого говорят исследования Рэйд (Reid, 1970; Taplin & Reid, 1973). В исследовании Тэплин и Рэйд наблюдатели прошли предварительную подготовку, в ходе которой достигли приемлемого уровня надежности. Затем одну группу наблюдателей проинформировали о том, что надежность оцениваться больше не будет; а участникам второй группы сообщили, что периодически, без предупреждения будет осуществляться проверка их надежности. В действительности записи всех наблюдателей продолжали сравни-вать с исходным уровнем. Результат был очевиден: наблюдатели, ожидавшие, что их оценки будут подвергаться проверкам, сохраняли более высокий уровень надежности. Данная тенденция к снижению надежности изначально надежных наблюдателей при отсутствии контроля называется дрейфом наблюдателя. Дрейф наблюдателя относится к категории искажающих валидность факторов, которую Кэмпбелл и Стэнли (Campbell & Stanley, 1966) называют инструментацией: непреднамеренным изменением измерительного инструмента в ходе исследования.

До этого момента о надежности говорилось так, будто есть некий единый индекс надежности, которому исследование либо соответствует, либо нет. В действительности, в типичном исследовании, как правило, существует множество видов надежности — для определенных форм поведения, определенных аспектов поведения, определенных периодов времени, определенных подгрупп испытуемых и т. д. Суть состоит в том, что надежность должна быть продемонстрирована на том уровне, на котором производится анализ данных. Если, к примеру, исследователь хочет оценить посттестовые различия, обусловленные неким воздействием, необходимо продемонстрировать надежность посттестовых данных; надежности, достигнутой на фазе претеста, будет недостаточно. Аналогично, если изучается частота агрессивных действий, надежности общих оценок уровня агрессии будет недостаточно, исследователь должен показать, что наблюдатели сходятся во мнении и относительно частоты случаев проявления агрессии.

Ярроу и Уакслер (Yarrow & Waxier, 1979) иллюстрируют это положение интересным и несколько менее очевидным примером. Эти авторы описывают ряд обсервативных исследований, в которых коэффициенты надежности недсчитывались отдельно для мальчиков и для девочек. В некоторых случаях оценка поведения представителей одного пола была более надежной, чем оценка поведения представителей противоположного пола. По крайней мере в этих исследованиях оценки агрессии мальчиков были надежнее оценок агрессии девочек. Кроме того, существенная связь индивидуальных различий в уровне агрессии с другими показателями наблюдалась только у мальчиков. Как отмечают Ярроу и Уакслер, этот результат может отражать действительно имеющие место различия между полами или всего лишь недостаточную надежность оценок агрессивного поведения девочек. В этом случае, как и в предыдущем, надежность необходима на уровне, на котором используются данные.

Ярроу и Уакслер (Yarrow & Waxier, 1979) также обсуждают плюсы и минусы возложения на наблюдателя функций измерительного инструмента. Их рассуждение может быть кратким выводом к этой главе:

«Даже будучи чрезвычайно опытным, наблюдатель по многим критериям — неточный научный инструмент: нестандартный, неоткалиброванный, зачастую нестабильный и ненадежный. Эти недостатки компенсируются такими присущими лишь человеку качествами, как чувствительность, гибкость и аккуратность. Задача состоит в том, чтобы решить, как провести строгое наблюдение, в полной мере используя свойственную человеку проницательность» (р. 37).

Резюме

Эта глава начинается с рассмотрения некоторых базовых принципов измерения. Переменные, с которыми мы работаем, определяются — операционально — способами их измерения. Измерение всегда заключается в переводе некоего глобального конструкта (например, агрессии) в более конкретную, объективную, поддающуюся количественной оценке форму. Этот перевод подразумевает выбор из множества возможных ограниченного числа способов измерения. Необходимо выбирать аспект поведения, который будет измеряться (например, частота, интенсивность), характер объекта измерения (явный или неявный), определить, являются результаты измерения признаками или специфическими моделями изучаемого конструкта, и решить, следует сосредоточивать внимание на временном состоянии или на устойчивом свойстве.

При оценке качества измерения имеет значение следующее. Измерение должно привести к результатам, находящимся на определенном уровне и в определенных рамках, при отсутствии эффектов как нижнего, так и верхнего пределов. Если в исследование включаются разнородные группы (например, дети разных возрастов), необходимо решить вопрос эквивалентности измерения. Во избежание монооперационального искажения следует применять разноплановые методы. Наконец, исследователь должен позаботиться о надежности (согласованности) и валидности (точности) измерительных операций.

В следующем разделе главы, посвященном стандартизованным тестам, вопросы надежности и валидности рассматриваются более подробно. В отношении теста валидность означает, что тест измеряет именно то, что призван измерять. Анализируются три формы валидности теста: содержательная валидность, критериальная валидность и конструктная валидность. Наиболее сложной из этих форм является конструктная валидность, для установления которой могут потребоваться экспериментальные и корреляционные данные, а также обеспечение конвергентной и дивергентной валидности корреляций между показателями.

Надежность определяется как согласованность результатов измерения. Рассматриваются следующие формы надежности: ретестовая надежность и надежность внутренней согласованности. Рассматривается также угроза для валидности, возникающая при отсутствии надежности, — регрессия к среднему. Регрессия — это тенденция, проявляющаяся в изменении при повторном тестировании изначально крайних показателей в направлении среднего. Вероятность регрессии особенно велика в исследованиях с использованием экспериментального вмешательства и в определенного рода планах уравненных групп.

За разделом, посвященным тестам, следует рассмотрение другой важнейшей формы измерения — методов наблюдения. Анализируются три вопроса. Первый касается уровня специфичности, на котором оценивается поведение. При использовании микросистемы наблюдения учитываются мельчайшие детали поведения; макросистема наблюдения содержит более глобальные, интерпретационные категории. Выбор исследователем той или иной системы, находящейся на континууме от микро- к макромоделям, определяется целями исследования. Еще одной детер-минантой является осуществимость-определенная система наблюдения применима только при возможности обеспечения точности результатов наблюдения. Для выбора метода регистрации также имеют значение цели и осуществимость. Наиболее подробное описание поведения дает нарративная запись. К более узконаправленным методам наблюдения относят временные срезы и выборочный анализ поведенческих событий. В обоих случаях категории, по которым ведется оценка, определяются заранее, наблюдение происходит в рамках либо временных блоков (временные срезы), либо определенного вида поведения (выборка событий).

Последний из рассмотренных в этой главе вопросов касается проблем, которые могут возникнуть в обсервативном исследовании. Влияние наблюдателя — это особая форма реактивности; она связана с тем, что люди нередко изменяют свое поведение, если знают, что являются объектом наблюдения. Обсуждается ряд методов, направленных на снижение вероятности этого искажения. Еще один из возможных источников искажения — ожидания наблюдателя, который в некоторых случаях фиксирует то, что ожидает увидеть. Наиболее эффективный способ борьбы с этим искажением — минимизация ожиданий. Наконец, надежность наблюдателей определяется совпадением их мнения при категоризации определенного поведения. Надежность следует контролировать на протяжении всего исследования, с тем чтобы предотвратить феномен дрейфа наблюдателя. Кроме того, она должна быть проиллюстрирована данными, соответствующими анализируемым данным.

Упражнения

В этой главе подчеркивалось, что любой теоретический конструкт может иметь множество операциональных определении. Рассмотрите следующие конструкты: альтруизм, креативность, мудрость. Для каждого дайте концептуальное определение и по крайней мере два операциональных определения. Сделайте то же самое для двух других конструктов, которые вас особенно интересуют.

Выберите некий конструкт из области психологии развития, который вас особенно интересует (например, интеллект, креативность, темперамент, Я-концепцию). Найдите по меньшей мере два стандартизованных теста, направленных на оценку индивидуальных различий по данным конструктам. Дайте критическую оценку всем методикам. Какую из них вы бы выбрали для собственного исследования и почему?

Выполнение следующего задания предполагает, что у вас есть возможность привлечь к исследованию па крайней мере одного родителя с ребенком в возрасте около года. Достаньте статью Лэм (Lamb, 1976), о которой говорилось в тексте, изучите обсервативную систему оценки и попытайтесь применить ее на практике. Имейте в виду, что вам придется адаптировать лабораторную процедуру к домашним условиям; однако, по крайней мере, некоторые элементы системы Лэм вполне воспроизводимы в домашней обстановке. Упражнение будет особенно полезным, если вы попытаетесь провести исследование с разными парами родитель-ребенок. Кроме того, хорошо было бы объединиться с кем-то из сокурсников и рассчитать коэффициент надежности ваших наблюдений.

Глава 5

Процедура

До этого момента мы рассматривали вопросы, связанные с планированием исследования. Как отобрать испытуемых, каким экспериментальным воздействиям их подвергнуть? Как лучше всего сравнивать разные возрастные группы и экспериментальные условия? Как, иными словами, составить план исследования, которое даст валидные результаты?

Несомненно, разрешение этих вопросов является необходимым условием грамотного проведения исследования; однако, как уже говорилось в главе 1, этого недостаточно. Разрабатывая план и систему оценок, мы лишь подходим к началу исследования; принятые решения нужно воплотить в жизнь, тестируя или наблюдая испытуемых. При реализации задуманного может возникнуть масса проблем. Именно этим проблемам — тому, что может привести к ошибочным результатам, — и посвящена эта глава. Или, другими словами, в этой .главе говорится о том, как избежать проблем и получить валидные результаты.

Следует еще раз подчеркнуть то, на что мы обращали внимание в главе 1. Знание общих принципов проведения исследования не может избавить от всех проблем. В конечном счете, эти принципы предстоит применить на практике, в процессе живого общения с испытуемыми и использования конкретных методик.

Стандартизация

Я начну с рассмотрения того, что, несомненно, является необходимым условием для проведения большинства исследований — стандартизации. Стандартизация означает создание единообразия всех аспектов процедуры для всех испытуемых. Для проведения стандартизации исследователь должен заранее решить, как именно будет реализовываться каждый аспект процедуры — как будет сформулирована инструкция, как и когда будет предъявляться стимул ьный материл.! и т.д. Приняв решения о стандартизации, исследователь должен на практике проконтролировать их выполнение.

Основная причина проведения стандартизации обсуждалась в главе 2 — необходимость экспериментального контроля. Исследователь должен иметь возможность контролировать ряд аспектов экспериментальной обстановки: точную фор-

му независимых переменных, способ измерения зависимых переменных, а также другие факторы ситуации. При отсутствии такого контроля невозможно ни узнать наверняка, что именно изучается в данном исследовании, ни проинтерпретировать полученные результаты.

Рассмотрим некоторые примеры затруднений, которые могут возникнуть при отсутствии адекватной стандартизации. Допустим, проводится исследование кратковременной памяти у школьников, скажем, у 1- и 4-классников. Экспериментатор показывает по одной серии картинок с изображением знакомых предметов, и дети получают задание вспомнить и назвать как можно больше из увиденного. В табл. 5.1 представлены разнообразные варианты отклонения экспериментатора от стандартной процедуры и, следовательно, искажения результатов. Экспериментатор может, к примеру, непреднамеренно варьировать время экспозиции для разных картинок или для разных детей; или забыть сказать некоторым детям, что порядок воспроизведения свободный, что достаточно существенно при попытке вспомнить последовательность, состоящую из множества предметов; или же экспериментатор может дать некоторым детям больше попыток, повышая их шансы на успех.

Таблица 5.1 Варианты отклонений от стандартной процедуры и их эффекты при изучении памяти

Как явствует из табл. 5.1, такие погрешности в стандартной процедуре могут вызвать разного рода проблемы. В лучшем случае, недостаточная стандартизация приведет к неопределенности, поскольку будет неясно, в чем состоят экспериментальные условия, и поэтому непонятно, как интерпретировать полученные результаты. Неопределенность может исказить и дескриптивную информацию, которую дает стандартизованное исследование: как узнать, к примеру, насколько ответ определенного испытуемого выделяется на общем фоне, если мы не знаем точного времени экспозиции и количества попыток? Она может отразиться и на внешней валидности результатов. Если то, что обнаруживается, зависит от некоего (незапланированного и неизвестного) сочетания условий, полученные результаты нельзя перенести на тот контекст, на который исследователь намеревается их перенести.

Недостаточная стандартизация может исказить и внутреннюю валидность в том случае, если отклонения от стандарта систематически распределены между разными группами неравномерно. Предположим, что экспериментатор дает старшим детям больше попыток, чем младшим (возможно, из убеждения, что правильный ответ скорее придет на ум старшим детям). Б этом случае выявленные возрастные различия могут в действительности отражать изменения в процедуре. Мы придем к ложному выводу о причинно-следственных связях, от чего пострадает внутренняя валидность.

Таким образом, стандартизация имеет огромное значение. Может показаться, что провести стандартизацию довольно просто — все, что необходимо, это заблаговременно составить план процедуры, а затем действовать в соответствии с этим планом. Но на практике, как известно каждому, кто имеет исследовательский опыт, все не так просто. Трудно предусмотреть все проблемы, которые могут возникнуть в ходе исследования, трудно также строго придерживаться плана долгой и сложной процедуры при непосредственном взаимодействии с испытуемыми. Эти трудности усугубляются еще и тем, что в большинстве исследований с детьми общению с ребенком желательно придать неформальный, естественный характер, что является лучшим способом создания у ребенка ощущения комфорта и поддержания его интереса. Жесткое следование плану — самый легкий путь стандартизации — может нарушить естественность, которая необходима для поддержания положительного настроя и активности ребенка.

Вероятно, основным условием оптимальной стандартизации является наличие опыта, как проведения исследования вообще, так и работы с определенным возрастным контингентом, использования определенных приемов. Хотя исследовательское мастерство приходит со временем, приобретение необходимого специфического опыта возможно в процессе пилотажного исследования — экспериментирования с исследовательскими приемами и приобретения навыка их использования до начала самого исследования. Тщательное пилотажное исследование дает возможность заблаговременно устранить дефекты и сомнительные моменты и, таким образом, иметь на руках схему стандартизованной процедуры еще до появления перед экспериментатором первого испытуемого. Кроме того, в ходе пилотажного исследования экспериментатор учится уверенной,.непрпнужденной манере инструктирования испытуемых и взаимодействия с ними, учится преодолевать скованность и избавляется от привычки работать по бумажке. В процессе пилотажного исследования экспериментатор учится предвосхищать и быть готовым прореагировать на некоторые проблематичные ситуации, когда поведение испытуемого вынуждает отступить от стандартной процедуры. Часто в исследовании с детьми наиболее важным качеством экспериментатора является не столько умение следовать стандартной схеме, сколько мастерство индивидуального подхода к каждому ребенку, при котором результатам эксперимента не грозит искажение, а ребенок не чувствует отчуждения.