Насколько Вы лично удовлетворены следующими сторонами своей жизни? 2 глава

3. Надежность измерения социальных характеристик

Описанные выше способы построения шкал не дают полного представления о свойствах полученных оценок. Для этого необхо­димы дополнительные процедуры, результаты которых будем опи­сывать в терминах ошибок измерения. Назовем это проблемой на­дежности измерения. Рассмотрим ее решение на пути выявления правильности измерения, его устойчивости и обоснованности.

Компоненты надежного измерения. При изучении правильности устанавливается общая приемлемость данного способа измерения. Непосредственно понятие правильности связано с возможностью учета в результате измерения различного рода систематических оши­бок. Систематические ошибки имеют некоторую стабильную приро­ду возникновения: либо они являются постоянными, либо меняются по определенному закону.

Устойчивость характеризует степень совпадения результатов измерения при повторных применениях, измерительной процедуры и описывается величиной случайной ошибки. Наиболее сложный вопрос надежности измерения — его обоснованность. Обоснованность связана с доказательством того, что измерено вполне определенное заданное свойство объекта, а не некоторое другое, более или менее на него похожее.

При установлении надежности следует иметь в виду, что в процессе измерения участвуют три составляющие: объект измере­ния, измеряющие средства, с помощью которых производится ото­бражение свойств объекта на числовую систему, и субъект, произ­водящий измерение. Предпосылки надежного измерения кроются в каждой отдельной составляющей.

Прежде всего сам объект в отношении измеряемого свойства может обладать значительной степенью неопределенности. Так, за­частую у индивида нет четкой иерархии жизненных ценностей, а следовательно, нельзя получить и абсолютно точные данные, ха­рактеризующие важность для него тех или иных явлений.

Но может быть и так, что способ получения оценки не обеспе­чивает максимально точных значений измеряемого свойства. Напри­мер, у респондента существует определенная иерархия ценностей, а для получения информации используется поминальная оценка с вариациями ответов от очень важно до совсем неважно. Как правило, из приведенного набора все ценности помечаются стартами очень важно, важно, хотя реально у респондента имеется боль­шее число уровней значимости.

Наконец, при наличии высокой точности первых двух состав­ляющих измерения субъект, производящий измерение, допускает грубые ошибки. Например, в процессе клинического интервью, в хо­де которого должна быть выявлена система ценностей опрашивае­мого, интервьюер не смог довести до респондента суть беседы не смог добиться доброжелательного отношения к исследова­нию и пр.

Каждая составляющая процесса измерения может быть источ­ником ошибки, связанной либо с устойчивостью, либо с правиль­ностью, либо с обоснованностью. Однако, как правило, исследова­тель не в состоянии разделить эти ошибки по источникам их про­исхождения и поэтому изучает ошибки устойчивости, правильности и обоснованности всего измерительного комплекса в совокупности. При этом правильность (как отсутствие систематических ошибок) и устойчивость информации — элементарные предпосылки надеж­ности. Наличие существенной ошибки в этом отношении уже сво­дит на нет проверку данных измерения на обоснованность.

В, отличие от правильности и устойчивости, которые могут быть измерены достаточно строго и выражены в форме числового пока­зателя, критерии обоснованности определяются либо на основе ло­гических рассуждений, либо на основе косвенных показателей. В смежных с социологией науках, например в психологии, проб­лема обоснованности теста решается путем сопоставления его ре­зультатов с результатами внешнего критерия — с известной груп­пой или с данными реального поведения. В социологии такой при­ем, как правило, не удается использовать, поэтому обычно при­меняется сравнение данных одной методики с данными других методик или исследований, т. е. обоснованность устанавливается более косвенным путем. При этом, разумеется, не обязательно до­биваться полного соответствия результатов. Достаточным будет уста­новление общих тенденций, что зависит и от соотносительной зна­чимости самих критериев, и от их функции в общем замысле исследования.

Правильность измерения — выявление систематических ошибок.Прежде чем приступать к изучению таких компонентов надежно­сти, как устойчивость и обоснованность, необходимо убедиться в правильности выбранного инструмента измерения (шкалы или си­стемы шкал).

Возможно, что последующие этапы окажутся излишними, если в самом начале выяснится полная неспособность данного инстру­мента на требуемом уровне дифференцировать изучаемую совокуп­ность, или может оказаться, что систематически не используется какая-то часть шкалы или ее отдельная градация. Прежде всего нужно ликвидировать или уменьшить такого рода недостатки шкалы и только затем использовать ее в исследовании.

Отсутствие разброса ответов по значениям шкалы. Попадание ответов в один пункт свидетельствует о полной непригодности из­мерительного инструмента —шкалы. Такая ситуация может воз­никнуть или из-за нормативного давления в сторону общепринятого мнения, или из-за того, что градации (значения) шкалы п имеют отношения к определению данного свойства у рассматривае­мых объектов (нерелевантны).

Например, если все опрашиваемые респонденты согласны с ут­верждением хорошо, когда работа или задание требуют универ­сальных знаний, нет ни одного ответа не согласен, остается только зафиксировать этот факт, однако подобная шкала не по­может дифференцировать изучаемую совокупность по отношению респондентов к работе.

Часто примером нерелевантности являются многие исходные шкалы методики семантического дифференциала Осгуда. Так, в ча­стности, при изучении установок инженера в работе измерения респондентов по шкалам мужской — женский, горячий — холод­ный и др. давали оценку только в середине шкалы, в нейтральной точке. Уточнение позволило сделать вывод, что эти шкалы, по мне­нию респондентов, не имеют отношения к изучаемым установкам.

Использование части шкалы. Довольно часто обнаруживается, что практически работает лишь какая-то часть шкалы, какой-то один из ее полюсов с прилегающей более или менее обшир­ной зоной.

Так, если респондентам для оценки предлагается шкала, имею­щая положительный и отрицательный полюса, в частности от +3 до —3, то при оценивании какой-то заведомо положительной ситуа­ции респонденты не используют отрицательные оценки, а дифференцируют свое мнение лишь с помощью положительных. Для того чтобы вычислить значение относительной ошибки измерения, ис­следователь должен знать определенно, какой же метрикой поль­зуется респондент — всеми семью градациями шкалы или только четырьмя положительными. Так, ошибка измерения в 1 балл мало о чем говорит, если мы не знаем, какова действительная вариация мнений.

Пример[142]. Девятнадцати испытуемым было предложено выска­зать отношение к трем понятиям по семи шкалам к каждому. Шкалы имели по 21 градации с крайними полюсами +10 и —10 и средней точкой 0. В целом получено 399 (19*3*7) оценок со следующим распределением:

Балл ( )												-1	…	-3-4	…	-6-7	…	-10
Частота

Поскольку значения <0 использовались всего, лишь 11 раз (3+3+5) из 399, т. е. в 2,8% случаев, то возникает вопрос, дей­ствует ли отрицательная часть этой шкалы. Возможно, что попа­дание в эту часть шкалы — явление чисто случайное. Проверим предположение.

Будем считать, что если вероятность р попадания в конец шкалы не превышает 5% при достаточно малом уровне значимости (a = 0,05 или a. = 0,01), то наблюдаемые попадания ответов являются случайными и соответствующая часть шкалы не работает. Для этого границы доверительного интервала, построенного по имею­щейся частоте для вероятности попадания в конец шкалы, сравним со значением 5 %. Если значение 5 % оказывается выше границ этого интервала, то следует признать, что проверяемая часть шкалы «не работает».

Для расчета границ доверительного интервала воспользуемся формулами[143]

(1)

Здесь m — доля попаданий в проверяемую часть шкалы; п — объем выборочной совокупности данных; Z — коэффициент доверия, соответствующий 2a (о доверительном оценивании см. с. 211).

Для рассматриваемого примера т — 0,0276; п — 399;Z_a = 1,96 для a = 0,05. Подставляя эти значения в формулы, получим р₁ = 0,016, р₂ = 0,049. То же самое в процентах: р₁ = 1,6%; р₂ = 4,9%. Постольку значение 5% не принадлежит интервалу (1,6%; 4,9%), то считаем, что отрицательная часть шкалы ( <0) не работает, следовательно, 21-балльная оценка функционирует лишь в области от +10 до 0.

Для вопросов, имеющих качественные градации ответов, можно применять подобное требование в. отношении каждого пункта шка­лы: каждый из них должен набирать не менее 5% ответов, в про­тивном случае считаем этот пункт шкалы неработающим.

Требование 5%-го уровня наполнения в двух рассмотренных задачах не следует рассматривать как строго обязательное в за­висимости от задач исследования могут быть выдвинуты большие или меньшие значения этих уровней.

Неравномерное использование отдельных пунктов шкалы. Слу­чается, особенно при использовании упорядоченных шкал, .града­ции которых сопровождаются словесными описаниями, что некото­рое значение переменной (признака) систематически выпадает из поля зрения респондентов, хотя соседние градации, характеризую­щие более низкую и более высокую степень выраженности при­знака, имеют существенное наполнение.

Так, если конфигурация распределения ответов на вопрос с четырьмя упорядоченными градациями такая, как на рис. 14, то, видимо, шкала неудачно сформулирована. Значительное наполнение

двух соседних пунктов (1 и 3) свиде­тельствует о захвате части голосов из плохо сформулированного пункта 2.

— четырем, пять — трем и т. д. При этом базовые оценки

используются значительно чаще, чем другие.

Для выявления указанных аномалий равномерного распределе­ния по шкале можно предложить следующее правило: для достаточно большой доверительной вероятности (1—a³ 0,99) и, следова­тельно, в достаточно широких границах наполнение каждого зна­чения не должно существенно отличаться от среднего из соседних наполнений.

Соответствующий статистический критерий таков;

Эта величина имеет хи-квадрат распределение с одной степенью свободы (df = 1).

Здесь i — номер значения признака, который подвергается ана­лизу; — наблюдаемая частота для этого значения;

- ожидаемая частота, как средняя из двух соседних.

Пример. Рассмотрим случай измерения в десятибалльной шкале ряда ценностей типа любимая работа, материальный достаток, здоровье и т. д. При 45 испытуемых и 14 предложенных ценно­стях получены 623 оценки, распределение которых выглядит так

Поскольку предполагается, что шкала должна работать равно­мерно, то, возможно, пункты шкалы 9, 7, 5 не удовлетворяют этому требованию.

Для оценки = 9 наблюдаемая частота = 67, ожидаемая —

Подставим данные значения в формулу и получим расчетную величину = 22,93. Поскольку = 22,93> = 6,63 (a = 0,01), то следует признать различие между наблюдаемой и ожидаемой частотами значимым. Следовательно, частота 67 для оценки a = 9 слишком мала по сравнению с соседними.

Аналогичные расчеты проводятся для пунктов шкалы a = 7 и a = 5; частота пункта 7 ( = 60) не противоречит выдвинутому требованию равномерности; частота оценки 5 ( = 81) слишком велика по сравнению с соседними и, таким образом, противоречит требованию равномерности.

Определение грубых ошибок. В процессе измерения иногда воз­никают грубые ошибки, причиной которых могут быть неправиль­ные записи исходных данных, плохие расчеты, неквалифицирован­ное использование измерительных средств и т. п. Это проявляется в том, что в рядах измерений попадаются данные, резко отличаю­щиеся от совокупности всех остальных значений. Чтобы выяснить, нужно ли эти значения признать грубыми ошибками, устанавли­вают критическую границу так, чтобы вероятность превышения ее крайними значениями была достаточно малой и соответствовала не­которому уровню значимости а. Это правило основано на том, что появление в выборке чрезмерно больших значений хотя и возмож­но как следствие естественной вариабельности значений, но мало­вероятно.

Если окажется, что какие-то крайние значения совокупности принадлежат ей с очень малой вероятностью, то такие значения признаются грубыми ошибками и исключаются из дальнейшего рас­смотрения. Выявление грубых ошибок особенно важно проводить для выборок малых объемов: не будучи исключенными из анализа, они существенно искажают параметры выборки.

Статистический критерий т определения грубых ошибок таков ( , где в качестве выступает либо , либо )[144]

(2)

Здесь и являются крайними членами некоторой совокуп­ности значений {х}.

В табл. XII, приводимой В. Ю. Урбахом[145], даны критические значения , соответствующие различным объемам выборки для до­верительных уровней: a = 0,05 и a = 0,01.

Например, при выборке в 50 единиц значение для уровня a = 0,05 будет 3,16.

Если расчетное окажется больше критического, то соответ­ствующее х считается маловероятным и отбрасывается как грубая ошибка.

Пример. Представим, что получены распределения по признаку с такими выборочными параметрами: = 0,012; s = 0,160 (при объеме выборки п = 29 респондентов). В этом распределении край­ними значениями оказались такие: = —0,500; = 0,250. Су­щественное подозрение вызывает значение, равное —0,500, посколь­ку среднее значение этого признака близко к 0 (0,012), а вариация его значений невелика (s = 0,160).

Так как для п = 29 и a = 0,05 = 2,94, то с вероятностью 0,95 можно признать, что значение признака х = —0,500 слишком мало для данной совокупности и поэтому является грубой ошибкой, а х = 0,250 не относится к резко выделяющимся значениям.

Итак, дифференцирующая способность шкалы как первая су­щественная характеристика ее надежности предполагает: обеспече­ние достаточного разброса данных, выявление фактического исполь­зования респондентом предложенной протяженности шкалы; ана­лиз отдельных выпадающих значений, исключение грубых оши­бок. После того как установлена относительная приемлемость ис­пользуемых шкал в указанных аспектах, следует переходить к вы­явлению устойчивости измерения .по этой шкале.

Устойчивость измерения. О высокой надежности шкалы можно говорить лишь в том случае, если повторные измерения при ее помощи одних и тех же объектов дают сходные результаты: Устой­чивость проверяется на одной и той же выборке исследуемых объ­ектов (респондентов). Сравнение же средних оценок разных выборок ничего не говорит об устойчивости измерения как таковом, а толь­ко лишь о репрезентативности выборок и их соответствии одной и той же совокупности. Обычно устойчивость проверяют проведе­нием двух последовательных замеров с определенным временным интервалом — таким, чтобы этот промежуток не был слишком ве­лик, чтобы сказалось изменение самого объекта, но не слишком мал, чтобы респондент мог по памяти подтягивать данные вто­рого замера к предыдущему (т. е. его протяженность зависит от объекта изучения и колеблется от двух до трех недель).

Осуществление более двух измерений связано с трудностями организации эксперимента и накапливанием ошибок другой при­роды, не связанной с устойчивостью.

Пусть x — изучаемый на устойчивость признак, отдельные его значения — , , , …, . Каждый респондент l (l = 1, ..., n)и при первом и при второе опросах получает некоторую оценку по изучаемому признаку — и соответственно.

Результаты двух опросов п респондентов заносятся в таблицу сопряженности (табл. 30), которая служит основой для дальней­шего изучения вопросов устойчивости.

Здесь — число респондентов, выбравших в первом опросе ответ и заменивших его при втором опросе на ответ .

Существует традиция изучать устойчивость с помощью анализа корреляций между ответами проб I и II. Однако этот подход не­достаточно эффективен, поскольку не учитывает многих аспектов устойчивости.

Таблица 30

Опрос I	Опрос II
…	…	…
. . . . . .	… . . . . . .	. . . . . .	. . . . . .	. . . . . .
	…	…	…	…