Оценка эффективности программ

Лабораторный эксперимент обычно проводится в рамках фундаментальных исследований и направлен на уточнение теории. Естественный эксперимент тоже может служить этой цели. Но чаще всего полевое исследование проводится для ответа на вопросы прикладного характера. Как правило, изучается эффективность какой-то новой программы. Именно с этим типом исследований чаще всего имеют дело социальные работники, поэтому им нужно хорошо понимать логику экспериментального подхода вообще и специфику естественного эксперимента.

Рассмотрим пример. В 80-х годах на Западе, особенно в скандинавских странах, Италии и Великобритании, возникло мощное движение, участники которого выступали против помещения людей, нуждающихся в специальном уходе (больные, престарелые, инвалиды, лица с задержкой умственного развития, сироты) в учреждения стационарного типа, ратуя за создание условий для ухода за ними на дому. В русле этого движения шло закрытие психиатрических больниц, вспомогательных школ, детских домов и введения альтернативных форм обслуживания, направленных на достижение социальной интеграции соответствующих групп населения. Естественно, что существовал и противоположный лагерь защитников традиционных форм социального обслуживания. Главным доводом сторонников реформ было утверждение, что на этом пути можно добиться значительного повышения качества обслуживания без существенного увеличения затрат. Для обоснования этого довода проводились эмпирические исследования по сравнению двух моделей.

Общая схема эксперимента сохраняется. Сравниваются две группы людей, различие между которыми выступает как независимая переменная. Например, сравнивается группа больных и группа здоровых людей. Изучаемым фактором в этом случае будет состояние здоровья. Существенное отличие исследований, проводимых в естественных условиях, по сравнению с опытами, проводимыми в лаборатории, заключается в том, что у исследователя нет возможности произвольно комплектовать группы испытуемых. Лучшее, что он может сделать – это попытаться максимально уравнять между собой группы по фоновым характеристикам, таким как возраст, пол, семейное положение и т.д. Полезно также учесть некоторые дополнительные моменты, которые могут пригодиться на этапе анализа данных. Например, есть смысл учитывать степень тяжести заболевания. Ведь вполне может оказаться, что в одном случае более эффективной окажется одна модель, а в другом – другая.

Наибольшие трудности при проведении полевых экспериментов обычно представляет разработка системы измерения оценочных показателей. По какой системе оценивать качество обслуживания? Учитывать ли только объективные показатели, или также мнение самих клиентов? Если брать несколько показателей, как свести их в один интегральный показатель? Если ориентироваться на мнение специалистов, то и среди них могут быть значительные разногласия. А как затем сопоставить между собой показатель качества обслуживания и уровень затрат? Для некоторых параметров существуют какие-то принятые системы оценки. Их использование облегчает задачу, а к тому же имеет и то преимущество, что возникает возможность сопоставлять результаты разных исследований. Разработка системы оценок, когда нет готовой схемы, всегда оказывается делом весьма трудоемким.

При проведении естественных экспериментов не всегда удается создать контрольную группу. Причины могут быть как чисто технического, так и морально-этического плана. Вспомним опять пример испытания новых лекарственных веществ. По схеме эксперимента истинную контрольную группу составили бы больные, не получающие никакого лечения. Понятно, что этот вариант неприемлем. В случае отсутствия контрольной группы сравниваются два состояния – до и после вмешательства. Если наблюдается явное улучшение, то есть основание рассматривать его как следствие проведенных мероприятий. Но никогда полностью не исключается влияние посторонних факторов, особенно если учесть, что между исходным и окончательным замером обычно проходит определенное время.

Условия проведения полевого исследования таковы, что приходится считаться со многими непредвиденными факторами, нарушающими планы тех, кто его организует. Если реализация программы затягивается на довольно длительный срок, то неизбежен отсев участников. Уменьшение выборки само по себе снижает надежность получаемых результатов. Но это еще не самое страшное. Часто отсев оказывается не случайным, и это изменяет состав исследуемой группы. Сравнивая исходные и окончательные результаты, мы тогда сравниваем как бы две разные группы. Понятно, что надежность выводов при этом страдает.

По сравнению с лабораторным экспериментом, полевое исследование обычно сопряжено с более значительными организационными трудностями. И это понятно, если учесть, что приходится входить в контакт с самыми разными людьми, объяснять им цели исследования и добиваться их содействия. Еще один отличительный момент всякого прикладного исследования – необходимость внедрять его результаты в практику. А это тоже часто сопряжено с известными трудностями. Во-первых, результаты серьезного исследования не всегда могут быть понятны людям, не знакомым с тонкостями научной работы. Требуются специальные усилия, чтобы донести до них смысл полученных выводов. Во-вторых, выводы могут затрагивать интересы многих людей, так или иначе связанных с данной сферой. Например, вы доказали, что новая программа обучения значительно более эффективна, чем традиционная. Какой отсюда следует вывод? Что следует отказаться от старой программы в пользу новой. Вряд ли подобная перспектива всем понравится. Нужно быть готовым к сопротивлению, к возражениям и отговоркам. Не так уж редки случаи, когда выводы просто кладутся под сукно, так как затрагивают чьи-то политические интересы.

Выборочное исследование

В зависимости от целей исследования, предметом изучения может быть какой-то отдельный объект или целый класс объектов. Например, мы пишем историю организации, в которой работаем. Это исследование по своему характеру будет чисто идеографическим. Особенности изучения индивидуального случая мы рассмотрим чуть позже. Но чаще всего исследователь имеет дело не с единичным объектом, а с целым классом объектов. Если число объектов не слишком велико, принципиально возможно вести сплошное исследование, то есть собирать информацию о каждом объекте. Допустим, нас интересуют многодетные семьи, проживающие в данном микрорайоне. Если их число не превышает двух-трех десятков, то вполне реально организовать поголовное обследование. Нужно только заранее задать точный критерий отнесения к данной категории, то есть указать, сколько детей должно быть в семье, чтобы считать ее многодетной.

Однако очень часто класс изучаемых объектов оказывается весьма многочисленным. Охватить его полностью слишком трудно, да и цель исследования не предусматривает этого. В этом случае ограничиваются исследованием некого подкласса (выборки), на основании которого судят о классе в целом. Понятно, что изучаемая выборка должна быть репрезентативной, то есть достаточно хорошо представлять данный класс, быть типичной. Тогда мы сможем распространять выводы, полученные на ограниченной выборке, на всю генеральную совокупность. Понятно, что всякое обобщение делается с большей или меньшей степенью уверенности. Практика научного исследования выработала целый ряд приемов, позволяющих обеспечить достаточную надежность выводов, получаемых на основании выборочного исследования.

Значительный вклад в отработку техники корректного построения выборки внесли социологи, занимающиеся изучением общественного мнения. Центральной задачей, на которой они оттачивали эти приемы, была задача предсказания результатов голосования в масштабах целой страны на основании выборочных опросов. Техника проведения массовых опросов к настоящему времени настолько усовершенствована, что возможным оказывается с достаточной степенью надежности прогнозировать результаты голосования миллионов избирателей, основываясь на ответах сравнительно небольшой (две-три тысячи человек) группы. Но логика, на которой базируется идея выборочного исследования, носит общенаучный характер. Она, например, широко используется в теории надежности
измерений.

Всегда ли надо использовать выборку, и какой величины она должна быть? Ответ зависит от конкретных обстоятельств, в частности – от степени однородности самой изучаемой совокупности. Если однородность высока, то достаточно малой выборки. Если же объекты практически не различаются по интересующим нас признакам, достаточно взять любой из них, и он окажется вполне типичным. Так, химик работает с образцами веществ, и каждый такой образец, если он отвечает требованиям чистоты, обладает всеми характерными свойствами данного вещества. Для изучения состава крови в организме достаточно взять просто небольшое ее количество. Специфика исследования в социальных науках, как мы уже указывали, состоит в том, что люди отличаются друг от друга по многим параметрам. Если даже принять, что базовый набор этих признаков является универсальным, то все равно большое их число и большое число градаций внутри каждого из них приводит к огромному количеству возможных индивидуальных комбинаций. Поэтому исследователь гуманитарного профиля, если он не ограничивается чисто идеографическим подходом, вынужден задумываться над вопросами корректного построения выборки. От этого будет зависеть надежность получаемой информации и обоснованность выводов.

При организации выборочного исследования нужно учитывать следующие моменты. Во-первых, чем больше размер выборки, тем надежнее получаемые данные в плане их репрезентативности, поэтому, вообще говоря, чем больше выборка, тем лучше. Ограничения здесь чисто практические: время, силы и средства, которые отнимает исследование. Необходимо найти разумный компромисс. Исследовательская практика выработала такие грубые ориентиры: 20-30 человек – выборка малого объема, порядка 100 человек – выборка среднего объема, свыше 500 человек – большая выборка. Какого размера выборка потребуется в каждом конкретном случае – это зависит от задач исследования. Для выявления общих тенденций часто достаточно малой выборки. Для более точной оценки параметров генеральной совокупности нужна средняя выборка. Если мы хотим делать надежные предсказания, то потребуется выборка больших размеров.

Во-вторых, как уже говорилось, многое зависит от того, насколько изучаемое явление внутренне однородно. Поэтому, строго говоря, априорно нельзя сказать, сколько наблюдений потребуется для того, чтобы на этой основе делать надежные выводы. Корректная процедура будет иметь следующий вид. Вначале проводят исследование, используя малую выборку. Затем оценивают степень разброса результатов. После этого, задавая требуемый уровень достоверности выводов, определяют, сколько наблюдений потребуется. Для подобных расчетов имеются строгие математические алгоритмы.

Как осуществляется отбор испытуемых? Теория эксперимента требует, чтобы критерии были четко сформулированы для исключения любых элементов субъективизма. Наиболее корректной процедурой считается чисто случайный отбор. В исследованиях описательного типа это означает, что каждый член генеральной совокупности имеет равные шансы попасть в группу респондентов. Тогда, при условии, что выборка достаточно велика, ее характеристики будут адекватно отражать характеристики генеральной совокупности. В экспериментальных исследованиях распределение по группам должно происходить случайным образом. Например, вопрос о том, поместить конкретного испытуемого в экспериментальную группу или в контрольную, решается подбрасыванием монеты. Можно использовать таблицы случайных чисел, которые имеются практически в любом учебнике по статистике.

А как быть, если нет возможности произвольно создавать группы? Тогда приходится работать с теми, которые уже существуют, но в этом случае надежность получаемой информации снижается, поскольку невозможно исключить влияния каких-то посторонних факторов. Частично исправить положение можно, предварительно сравнив группы по некоторым важным параметрам. Так, если проводится оценка эффективности нового метода обучения иностранному языку, то нужно заранее убедиться, что исходный уровень подготовки в обеих группах (экспериментальной и контрольной) одинаков. Иначе весь эксперимент теряет смысл.

В практике конкретных социологических исследований разработаны и более утонченные методы построения выборки. К примеру, если заведомо известно, что изучаемая категория внутренне неоднородна, то используется так называемая стратифицированная выборка. Допустим, известно, что среди лиц пожилого возраста женщин вообще больше, чем мужчин. Тогда, создавая репрезентативную выборку, мы будем стремиться сохранить ту пропорцию, которая характеризует население в целом. А внутри этих дробных категорий отбор будет вестись по случайному принципу. Другими переменными, которые в социальных исследованиях стараются по возможности контролировать путем стратификации выборки, являются возраст, семейное положение, образование, материальное обеспечение. Если по техническим соображениям мы не можем использовать строгие методы построения выборки, то следует, по крайней мере, указать на те переменные, которые остались не проконтролированными, при обсуждении результатов.

Изучение случая

Массовые обследования и строгий лабораторный эксперимент – это два типа исследования, представляющие номотетический полюс глобальной стратегии изучения социальных явлений. Исследования первого типа идут или в русле социальной статистики (изучение рождаемости и смертности, состояния здоровья, жилищных условий, образа жизни), или в русле изучения общественного мнения (политические взгляды и предпочтения, читательские и художественные вкусы, отношение к средствам массовой информации, анализ потребительского спроса). Они носят прикладной характер, то есть проводятся с целью получения объективной информации, необходимой для принятия практических решений. Поскольку социальные явления динамичны, подобные исследования обычно повторяются с определенной периодичностью. Это дает возможность улавливать общие тенденции, на основе которых можно также делать прогноз на будущее. Такое отслеживание тенденций развития получило название мониторинг. Лабораторные эксперименты проводятся с целью проверки и уточнения гипотез общего характера, которые затем обогащают наши знания определенной предметной области. Другими словами, эти исследования обычно носят фундаментальный характер.

Если брать противоположный полюс (идеографический), то в своем чистом виде он представлен особым типом исследования, известным под названием изучение случая. Здесь специалист имеет дело с конкретным явлением, которое представляет определенный интерес для науки или для практики. Свою задачу он видит в том, чтобы на основе тщательного анализа дать квалифицированное описание, которое будет полезно другим специалистам. На уровне научного исследования это может быть описание редко встречающегося животного или редкого заболевания. На уровне повседневной практики примерами будут история болезни или психолого-педагогическая характеристика. Отметим, что грань здесь весьма размыта. Все зависит от тех целей, для которых используется описание случая. Врач-исследователь может использовать описания, составленные специалистами-практиками, как исходный материал для так называемого вторичного анализа. Обобщая различные истории болезни, он решает, например, задачу выделения разных форм одного и того же заболевания.

С точки зрения традиционной (позитивистской) методологии рассматриваемый тип исследования понимается в лучшем случае как некий подготовительный этап, а его продукт – как сырой материал для научного анализа в собственном смысле слова. Но в свете тех соображений о специфике предмета исследования социальных наук, которые были изложены выше, этот тип исследования вполне может претендовать на свой особый статус. Более того, он обладает некоторыми преимуществами перед традиционным подходом, который при изучении человека обнаруживает свои недостатки. Так, традиционный подход делает упор на анализ, то есть разлагает сложное целое на элементы. В погоне за методологической чистотой исследования и логической строгостью выводов изучаемые явления стремятся изолировать от других сопутствующих явлений. Кроющаяся здесь опасность состоит в том, что взятые в отрыве от контекста социальные явления часто становятся непонятными, поскольку допускают разную интерпретацию. Одни и те же внешние действия могут иметь разную внутреннюю природу. Например, человек может плакать и от горя, и от радости. При описании случая упор делается на синтез, то есть на интеграцию данных разного рода с целью создания о нем целостного представления. Исследователь стремится к охвату всей доступной информации, но при этом старается выявить наиболее значимые моменты, те смысловые ядра, которые организуют всю картину, делают ее понятной.

Традиционный научный подход на первый план выдвигает принцип объективности. Субъективность исследователя и исследуемых считается лишь источником искажений истинного положения вещей. Идеографический подход, конкретной реализацией которого выступает изучение отдельных случаев, подчеркивает важность учета не только объективной, но и субъективной информации. Например, врач, заполняющий историю болезни, начинает с описания субъективных жалоб больного, а затем уже переходит к изложению результатов объективных клинических проб. Социальные науки имеют дело с явлениями, многие из которых субъективны по самой своей природе. Это вовсе не значит, что у них нет объективных внешних проявлений. Но вся сложность заключается в том, что связь между внутренними состояниями и их внешними проявлениями не является прямой и однозначной.

Поясним сказанное примерами. Боль – это субъективное ощущение. Но у нее есть и определенные объективные проявления. Человек может стараться не подавать виду, что ему не по себе, но этот факт трудно полностью скрыть. А внезапная острая боль всегда сопровождается непроизвольными внешними реакциями. Другой пример. Как социальных работников нас интересует степень удовлетворенности клиентов качеством обслуживания. Можно пытаться найти какие-то объективные индикаторы. Очевидно, что количество жалоб является одним из них. Но лучший способ – это прямо обратиться к человеку с вопросом. Конечно, и тут имеются свои проблемы, которые исследователь должен учитывать. О них у нас еще пойдет специально речь. Тем не менее в рамках исследования случая имеется возможность учитывать и сопоставлять данные разного рода.

Какие источники информации о человеке имеются в нашем распоряжении? Во-первых, это данные непосредственного наблюдения. Понятно, что некоторые индивидуальные особенности оценить легче, а другие труднее. К первому типу относятся внешний вид, манера держаться, особенности речи; ко второму – черты характера, особенности мировоззрения, знания. Во-вторых, это данные самоотчета – та информация, которую сообщает нам о себе клиент. Полнота и надежность данных этого рода зависит как от особенностей конкретного человека, так и от опыта исследователя. В-третьих, это информация, которую мы получаем от людей, знающих человека. Она может поступать к нам либо в виде непосредственного рассказа, либо в виде документов. Углубленное изучение случая обычно включает привлечение информации всех типов и сопоставление ее. Так возникает достаточно полная картина, и, кроме того, часто появляется возможность оценить ее достоверность. Отметим важное методическое требование: описание случая должно включать ясные указания на источник информации.

Исследователь, занимающийся изучением случая, выступает в особой роли по сравнению со своим коллегой, работающим в номотетическом ключе. Во-первых, он активно отбирает те случаи, которые, по его мнению, заслуживают особого внимания. И это могут быть не только наиболее типичные случаи, иллюстрирующие некое правило, но и крайние случаи, демонстрирующие исключения из общего правила. Во-вторых, он идет от частного к общему, то есть индуктивным путем. В отличие от своего коллеги-экспериментатора, он начинает не с априорных гипотез, а с живого наблюдения. При этом он гибко следует внутренней логике предмета, избегая преждевременных и слишком широких обобщений. В-третьих, он выполняет активную функцию в процессе сбора информации, не уклоняясь от ее интерпретации. Наоборот, его опыт и знания прямо включаются в исследовательский процесс. Причем не только в форме явного знания, но и в форме интуиции. В этом смысле его мышление ближе к мышлению специалиста-практика, чем к абстрактно-логическим рассуждениям ученого-теоретика.

Идеографический подход не загоняет исследователя в жесткие рамки научной методологии. Он отличается значительной гибкостью, оставляя большой простор как для выбора исследовательских приемов, так и в плане интерпретации получаемых данных. Соответственно и форма описания случая достаточно свободная, близкая к обычному повествованию. Точнее говоря, в каждой области складываются некоторые стандарты описания случая. Есть некая схема изложения истории болезни, есть общая схема написания психолого-педагогической характеристики. В области социальной работы описание работы с индивидуальным случаем часто по форме напоминает историю болезни: сначала описывается проблема, с которой клиент обратился, затем приводятся сведения о клиенте и его социальном окружении, после этого делается профессиональное заключение о сути проблемы и выбранной стратегии ее решения, описываются конкретные шаги, предпринятые для этого, а в конце дается общая оценка достигнутого и адекватности самой избранной стратегии вмешательства.

Литература:

Афанасьев В.Г. Социальная информация. М., 1994.

Батыгин Г.С. Лекции по методологии социологических исследований. М., 1995.

Гречихин В.Г. Лекции по методике и технике социологических исследований. М., 1998.

Хагуров А.А. Социальный эксперимент: логико-методологические и социальные проблемы. Ростов-на-Дону, 1989.

Ядов В.А. Социологическое исследование: методология, программа, методы. Самара, 1995.

Тихомиров Б.И. Техника социального анализа. Спб., 1992.

Bailey K.D. Methods of social research. 4th ed. N.Y.: Free Press, 1994.

Cramer D. Introducing statistics for social research: step-by-step calculations and computer techniques using SPSS. L.: Routledge, 1994.

Creswell J.W. Research design: qualitative and quantitative approaches. Thousand Oaks: Sage, 1994.

Homan R. The ethics of social research. L.: Longman, 1991.

Kadushin A. The social work interview: A guide for human service professionals. 3rd ed. N.Y.: Columbia University Press, 1990.

Miles M.B. & Huberman A.M. Qualitative data analysis: An expended sourcebook. 2nd ed. Thousand Oaks: Sage, 1994.

Rose D., Sulivan D. Introducing data analysis for social scientists. Buckingham: Open University Press, 1993.

Royse D. Research methods in social work. 2nd ed. Chicago: Nelson-Hall, 1995.

Sayer A. Methods in social scientists: a realist approach. 2nd ed.
L.: 1991.

Silverman D. Interpreting qualitative data: Method for analyzing talk, text and interaction. London: Sage, 1993.

Stewart D.W. Secondary research: information sources and methods. 2nd ed. Newbury Park: Sage, 1993.

Strauss A. & Corbin J. Basics of qualitative research: Grounded Theory procedures and techniques. Newbury Park: Sage, 1990.

Tesch R. Qualitative research: analysis types and software tools. L.: Falmer, 1990.

Yegidis B.L. & Weinbach R.W. Research methods for social workers. N.Y.: Longman, 1991.

Yin R.K. Case study research: design and methods. 2nd ed. L.: Sage 1994.