Международные документы, регламентирующие проведение РКИ

РКИ давно привлекают внимание международных законодательных и контролирующих органов ввиду обилия возможностей для злоупотреблений служебным положением, сокрытия результатов, нарушения принципов биоэтики и прав человека в целом в процессе организации и проведения таких исследований, особенно в странах третьего мира. Проще говоря, в ходе неправильно спланированных и организованных РКИ подвергаются риску жизнь и здоровье добровольцев, расходуются большие объемы финансовых средств (частных инвесторов либо бюджетных), а полученные результаты нередко являются невалидными ввиду методических погрешностей либо исходной нехватки чувствительности и/или специфичности исследования (см. выше). Более того, сделанные в ходе РКИ неверные выводы относительно эффективности либо безопасности тех или иных лекарственных препаратов / вмешательств потенциально могут нанести огромный вред больным, доверившимся лечащему врачу либо препарату известного производителя (как вариант, дешевому «аналогу» известного эффективного препарата). Поскольку оборот мирового фармацевтического бизнеса составляет триллионы долларов ежегодно, постоянно имеется соблазн ускорить путь к положительным результатам испытаний лекарственных препаратов, тем или иным способом договорившись с совестью исследователей. В связи с этим существует ряд международных документов, регламентирующих принципы и методы проведения РКИ. Вот перечень некоторых из них:

1. Consolidated Guideline for Good Clinical Practice (ICH E6)

http://acto-russia.org/files/ICH_E6.pdf

2. Хельсинкская декларация ВМА / Declaration of Helsinki

http://acto-russia.org/index.php?option=com_content&task=view&id=21

3. Директива 2001/20/ЕС Европейского Парламента и Совета от 4 апреля 2001 года по сближению законодательств, правил и административных постановлений стран-участниц ЕС, касающихся реализации качественной клинической практики при проведении клинических исследований лекарственных средств для применения у людей / Directive 2001/20/EC of the European Parliament and of the Council of 4 April 2001 on the approximation of the laws, regulations and administrative provisions of the Member States relating to the implementation of good clinical practice in the conduct of clinical trials on medicinal products for human use

http://acto-russia.org/index.php?option=com_content&task=view&id=23

4. Директива Комиссии 2005/28/EC от 8 апреля 2005 г., устанавливающая принципы и детальные правила качественной клинической практики при проведении клинических исследований лекарственных средств для человека, а также требования к процедуре выдачи разрешения на производство или импорт таких средств / Commission Directive 2005/28/EC of 8 April 2005 laying down principles and detailed guidelines for good clinical practice as regards investigational medicinal products for human use, as well as the requirements for authorisation of the manufacturing or importation of such products (Text with EEA relevance)

http://acto-russia.org/index.php?option=com_content&task=view&id=25

5. Ethical Considerations for Clinical Trials on Medicinal Products Conducted with the Paediatric Population

http://acto-russia.org/files/final_guideline_CT.pdf

6. Clinical Safety Data Management: Definitions and Standards for Expedited Reporting (ICH E2A). http://acto-russia.org/files/ICH_E2A.pdf

7. Structure and Content of Clinical Study Reports (ICH E3)

http://acto-russia.org/files/ICH_E3.pdf

8. Communication from the Commission regarding the guideline on the data fields contained in the clinical trials database provided for in Article 11 of Directive 2001/20/EC to be included in the database on medicinal products provided for in Article 57 of Regulation (EC) No 726/2004

http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:L:2004:136:0001:0033:en:PDF

Читателю данного руководства предоставляется возможность самостоятельно найти данные документы и ознакомиться с их содержанием. Впрочем, текст Хельсинской декларации приведен в приложении 1.

В 2004 г. члены Международного комитета редакторов медицинских журналов (Interna­tional Committee of Medical Journal Editors, ICMJE, http:/www.icmje.org/) опубликовали редакционную статью, посвященную необходимости регистрации всех без исключения клинических испытаний. ICMJE – не единственная организация, которая преследует такие цели. На заседаниях ВОЗ в Нью-Йорке, Мехико и Женеве также говорилось о необходимости создания единых мировых стандартов, касающихся информации, которую обязаны предоставлять авторы контролируемых исследований. В настоящее время правительства разных стран начинают подводить под это положение правовую основу. Например, конгресс США разработал Акт об открытом доступе к результатам клинических испытаний – Fair Access to Clinical Trials (FACT), значительно ужесточающий требования к их регистрации.

Существует несколько международных регистров РКИ, одним из наиболее популярных и авторитетных из них является регистр ВОЗ (т.н. Международная платформа ВОЗ для регистрации клинических испытаний, http://www.who.int/ictrp/en/).

Регистрации подлежат все испытания, основной задачей которых является изменение или подтверждение существующей клинической практики (т.н. III фаза исследований). Минимальный объем информации, необходимый для регистрации клинического испытания в реестре ВОЗ, приведен в таблице.

Минимальная регистрационная форма клинического испытания (ВОЗ, 2004)

Другие известные международные регистры РКИ – Реестр клинических испытаний методов лечения инсульта (http://www.strokecenter.org/trials/), IFPMA Clinical Trials Portal (http://clinicaltrials.ifpma.org/clinicaltrials/no_cache/en/myportal/index.htm), Current Controlled Trials (http://www.controlled-trials.com/) и т.д. Кроме того, существуют национальные реестры клинических испытаний, наиболее известным из которых является национальный регистр США (http://clinicaltrials.gov/), список же остальных можно посмотреть в Интернете по адресу http://en.wikipedia.org/wiki/Clinical_trials_registry. В Беларуси и Российской Федерации национальные реестры РКИ в настоящее время отсутствуют.

Основная цель создания регистров клинических испытаний – улучшение здоровья населения, основная задача – обеспечить любому желающему доступ к основным результатам клинических испытаний, могущих повлиять на принятие медицинского решения. Кроме того, с 1 июля 2005 г. упомянутый выше Международный комитет редакторов медицинских журналов принял решение не принимать к публикации результаты РКИ, если исследование не было зарегистрировано ни в одном из публичных реестров (http://www.sanctr.gov.za/). Таким образом, исследователи, выполнившие незарегистрированное РКИ, не смогут опубликовать его результаты ни в одном из уважаемых западных журналов.

В настоящее время все исследования на людях и, в частности, клинические испытания должны выполняться в строгом соответствии с Хельсинкской декларацией (см. приложение 1).

Образец регистрационной информации произвольного РКИ, взятый из базы Международной платформы ВОЗ для регистрации клинических испытаний, приведен в приложении 2.

Мета-анализ

Достаточно часто результаты нескольких исследований, в которых оценивается эффективность одного и того же вмешательства или диагностического метода при одном и том же заболевании, различаются, и иногда – существенно. В связи с этим возникает необходимость относительной оценки результатов разных исследований и интеграции их результатов с целью получения обобщающего вывода. Одной из самых популярных и быстро развивающихся методик интегрального анализа результатов отдельных научных исследований является методика мета-анализа. Международная ассоциация эпидемиологов характеризует мета-анализ как «метод объединения результатов различных исследований, …складывающийся из учета уровня качества их выполнения (например, использование таких заранее определенных критериев включения в анализ, как полнота данных, отсутствие явных недостатков в организации исследования и т.д.) и анализа количественного компонента (статистическая обработка представленных независимыми исследователями данных)». Мета-анализ – вершина биомедицинских исследований; будучи выполненным в соответствии с правилами, он обеспечивает наивысший уровень доказательности из возможных. Тем не менее, полезно помнить, что мета-анализ полностью вторичен, поскольку целиком базируется на результатах ранее выполненных практических исследований и при отсутствии либо недостаточном количестве таковых невозможен по определению.

Цель мета-анализа – выявление, изучение и объяснение различий в результатах независимых исследований одной и той же проблемы.

К несомненным преимуществам мета-анализа относится возможность увеличения статистической мощности исследования (за счет интеграции данных нескольких исследований), а, следовательно, повышение точности оценки эффекта анализируемого вмешательства. Это позволяет более определенно, чем при анализе каждого отдельно взятого клинического исследования, указать категории больных, для которых применимы полученные результаты.

Правильно выполненный мета-анализ предполагает проверку научной гипотезы, подробное и четкое изложение применявшихся статистических методов, достаточно подробное изложение и обсуждение результатов анализа, а также вытекающих из него выводов. Подобный подход обеспечивает уменьшение вероятности случайных и систематических ошибок и позволяет повысить объективность получаемых результатов.

Подходы к выполнению мета-анализа:

Существуют два основных подхода к выполнению мета-анализа. Первый из них заключается в повторном статистическом анализе отдельных исследований путем получения и обработки первичных данных их наблюдений. Очевидно, что проведение данной операции далеко не всегда возможно. Второй (и основной) подход заключается в обобщении опубликованных результатов исследований, посвященных одной проблеме. Такой мета-анализ выполняется обычно в несколько этапов, среди которых важнейшими являются:

1. Выработка критериев включения опубликованных исследований в мета-анализ;

2. Оценка гетерогенности (статистической неоднородности) результатов оригинальных исследований;

3. Проведение собственно мета-анализа (получение обобщенной оценки величины эффекта изучаемого вмешательства);

4. Анализ чувствительности и мощности проведенного мета-анализа.

Этап определения круга включаемых в мета-анализ исследований часто становится источником систематических ошибок. Качество мета-анализа существенно зависит от качества включенных в него исходных исследований и статей. К основным проблемам при включении исследований в мета-анализ относятся существенные различия исследований по критериям включения и исключения, дизайну, контролю качества. Существует также систематическая ошибка, связанная с преимущественной публикацией положительных результатов исследований (исследования, в которых получены клинически и статистически значимые результаты, чаще публикуются, чем те, в которых такие результаты не получены). Соответственно, поскольку мета-анализ основан главным образом на литературных данных, следует обращать особое внимание на недостаточную опубликованность отрицательных результатов аналогичных исследований. Включение в мета-анализ неопубликованных результатов также представляет значительную проблему, поскольку их качество неизвестно именно в связи с тем, что они не проходили рецензирование, обязательное при публикации в серьезных научных изданиях.

Основные методы мета-анализа:

Выбор метода анализа определяется типом анализируемых данных (бинарные или непрерывный ряд) и дизайном исследования (когортное, РКИ). Бинарные данные обычно анализируются путем вычисления отношения шансов (ОШ), относительного риска (ОР) или разности рисков в сопоставляемых выборках (см. выше). Все перечисленные показатели характеризуют эффект вмешательств. Представление бинарных данных в виде ОШ удобно использовать при статистическом анализе, но этот показатель достаточно трудно интерпретировать для клинической практики. Непрерывными данными обычно являются диапазоны значений изучаемых признаков или разница их средних значений в группах сравнения, если исходы оценивались во всех исследованиях одинаковым образом. Если же исходы оценивались по-разному (например, по разным шкалам), то используется т.н. стандартизованная разница средних значений изучаемых признаков («величина эффекта») сравниваемых групп. Целью мета-анализа непрерывных данных обычно является представление точечных и интервальных (95% ДИ) оценок обобщенного эффекта вмешательства.

Применение мета-анализа позволяет существенно улучшить результаты систематизации различных публикаций по единой тематике. При написании любого обычного обзора всякий исследователь может подобрать десяток работ, подтверждающих его точку зрения (это особенно актуально для гуманитарных наук), в то время как его идейный оппонент всегда может указать на несколько исследований с противоположными выводами. Завязывается дискуссия, стандартным итогом которой является фраза: «Опубликованные в литературе сведения противоречивы, ввиду чего необходимы дальнейшие исследования для прояснения ситуации». Естественно, новые исследования если и предпринимаются, то нисколько не улучшают общую картину. Мета-анализ дает возможность выбраться из этой трясины. Использование хорошо продуманных и научно обоснованных методов интеграции и анализа информации позволяет ответить на вопросы, неразрешимые в рамках отдельных исследований.

Одним из первых этапов мета-анализа является оценка гетерогенности (статистической неоднородности) результатов изучаемого вмешательства в разных исследованиях. Для оценки гетерогенности часто используют критерий χ² с нулевой гипотезой о равном эффекте во всех исследованиях и с уровнем значимости р=0,1 для повышения статистической мощности (чувствительности) теста. Источниками гетерогенности результатов разных исследований принято считать: 1) дисперсию данных внутри исследований (обусловленную случайными отклонениями результатов, полученных в разных исследованиях, от единого истинного значения эффекта), а также 2) дисперсию между исследованиями (обусловленную различиями между интегрируемыми выборками по существенным характеристикам больных, особенностям их заболеваний и вмешательств, что приводит к получению неравнозначных оценок величины изучаемого эффекта).

Если предполагается, что дисперсия между исследованиями близка к нулю, то каждому из исследований приписывается вес, величина которого обратно пропорциональна дисперсии результата данного исследования. При нулевой дисперсии между исследованиями можно использовать модель фиксированных (постоянных) эффектов. В этом случае предполагается, что изучаемое вмешательство во всех исследованиях имеет одну и ту же эффективность, а выявляемые различия обусловлены только случайными факторами (т.е. дисперсией) внутри отдельных исследований. В этой модели пользуются методом Мантела-Ханзела. Процедура, предложенная Мантелом и Ханзелом, позволяет предположительно оценивать типичное значение отношения шансов и проверять значимость общей степени связи. Существуют и другие подходы к выполнению мета-анализа. Так, модель случайных эффектов предполагает, что эффективность изучаемого вмешательства в разных исследованиях действительно может быть различной. Данная модель учитывает дисперсию не только внутри одного исследования, но и между разными исследованиями. В этом случае суммируются дисперсии внутри исследований и дисперсия между исследованиями. Существует также ряд других подходов к выполнению мета-анализа: байесовский мета-анализ, кумулятивный мета-анализ, многофакторный мета-анализ, мета-анализ выживаемости.

Байесовский мета-анализ позволяет рассчитать априорные вероятности эффективности вмешательства с учетом косвенных данных. Такой подход особенно эффективен при малом числе доступных исследований. Он обеспечивает более точную оценку эффективности вмешательства в модели случайных эффектов за счет объяснения дисперсии между разными исследованиями. Кумулятивный мета-анализ – частный случай байесовского, пошаговая процедура включения результатов исследований в мета-анализ по одному в соответствии с каким-либо принципом (в хронологической последовательности, по мере убывания методологического качества исследования и т.д.). Он позволяет рассчитывать априорные и апостериорные вероятности в итерационном режиме по мере включения исследований в анализ.

Регрессионный мета-анализ (логистическая регрессия, регрессия взвешенных наименьших квадратов, модель Кокса и др.) используется при существенной гетерогенности результатов исследований. Он позволяет учесть влияние нескольких характеристик исследования (например, размера выборки, дозы препарата, способа его введения, характеристик больных и др.) на результаты испытаний вмешательства. Результаты регрессионного мета-анализа обычно представляют в виде коэффициента наклона с указанием ДИ.

Следует заметить, что мета-анализ может выполняться для обобщения результатов не только рандомизированных контролируемых испытаний медицинских вмешательств, но и когортных исследований (например, исследований факторов риска), однако при этом следует учитывать высокую вероятность возникновения систематических ошибок.

Особый вид мета-анализа – обобщение оценок информативности диагностических методов, полученных в разных исследованиях. Цель такого мета-анализа – построение характеристической кривой взаимной зависимости чувствительности и специфичности тестов (ROC-кривой) с использованием взвешенной линейной регрессии.

Мета-анализ, при наивысшем уровне доказательности, является сложной математико-статистической процедурой; его выполнение требует наличия в исследовательской группе квалифицированного статистика, имеющего опыт подобных исследований. Трудно представить себе молодого ученого, планирующего проведение мета-анализа в качестве своей первой научной работы. Тем не менее, мы считаем нужным привести здесь пошаговое руководство по выполнению одного из стандартных вариантов мета-анализа – анализа по методу Хантера-Шмидта (Hunter-Schmidt). Данный метод был предложен Хантером, Шмидтом и Джексоном (Jackson) в 1982 г. [25] и усовершенствован Хантером и Шмидтом в 1990 г. [24].

Начальный этап любого мета-анализа – тщательный поиск литературных источников (т.е. научных публикаций) по изучаемой проблеме. Включению в мета-анализ подлежит информация только из тех источников, которые указали уровень достоверности полученных данных и привели значения стандартных отклонений для всех переменных, включаемых исследователями в формируемую базу мета-анализа.

Следующий этап после заполнения сформированной базы данных – перевод (конвертация) размерностей результатов различных исследований в единую метрическую систему. Обычно все доступные данные переводят в специальную величину r, называемую «стандартизированный эффект воздействия» Ниже приведен ряд формул, позволяющих выполнить указанное преобразование:

Конвертируемый статистический показатель	Формула для конвертации в r (r – т.н. «эффект воздействия»)	Примечания
t-критерий Стьюдента		Может использоваться для любого парного или непарного t-теста; df – число степеней свободы
F-критерий Фишера		Используется только с одномерным дисперсионным анализом (one-way ANOVA); df(e) – ошибка df
Многомерный дисперсионный анализ (two-way ANOVA)		F(a) – первое воздействие; df(a) – число степеней свободы для А; F(b) – второе воздействие; df(b) – число степеней свободы для В; F(ab) – эффект взаимодействия А и В; df(ab) – число степеней свободы взаимодействия А и В; df(e) – ошибка df
X2-критерий согласия Пирсона		N – размер выборки Используется только при df=1
d-критерий Коэна (Cohen's d)		d – критерий Коэна; N – совокупный размер выборок, включенных в мета-анализ
р – показатель вероятности нулевой гипотезы	1) Перевести двустороннее значение р в одностороннее (разделить на 2); 2) Установить величину соответствующего критерия Z в кумулятивной таблице нормального распределения	Можно использовать как точные значения р, так и приблизительные (н-р, если автор пишет: р<0,05)

Помимо r, для приведения к единой размерности приведенных в публикациях статистических критериев можно использовать d-критерий Коэна:

Конвертируемый статистический показатель	Формула для конвертации в d	Примечания
Средние величины и стандартные отклонения		Xe – средняя экспериментальной группы; Хс – средняя контрольной группы; Sp – объединенное стандартное отклонение (всех субъектов в выборке)
Объединенная дисперсия (variance) субъектов выборки		Ne – размер экспериментальной группы; Nc – размер контрольной группы; Se2 – дисперсия экспериментальной группы; Sc2 – дисперсия контрольной группы
t-критерий Стьюдента		Может использоваться для любого парного или непартного t-теста df – число степеней свободы
F-критерий Фишера		Используется только с одномерным дисперсионным анализом (one-way ANOVA) df(e) – ошибка df
Стандартизированный эффект воздействия r

Следующий этап – систематизация информации об эффекте изучаемого воздействия. После того, как все данные исследований, включенных в мета-анализ, конвертированы в стандартизированные показатели и имеют единую размерность, производится сбор информации о достоверности выполненных исследований и т.н. отклонениях диапазона (range departures, см. ниже). Если во всех исследованиях проведена оценка достоверности (либо отклонения диапазона), выраженность изучаемого воздействия может быть скорректирована на уровне каждого из индивидуальных исследований, включенных в анализ. Тем не менее, основной массив публикаций такого рода информацию не предоставляет. К счастью, Хантер и Шмидт разработали процедуру установления поправок на достоверность и отклонение диапазона посредством конструирования распределений для зависимых и независимых переменных [24].

Когда литературная база консолидирована, а информация о достоверности исследований и отклонениях от диапазона собрана, необходимо устранить систематическую ошибку отбора (sampling error bias). Данная ошибка приводит к случайному изменению результатов исследования в зависимости от размера анализируемой выборки (см. выше): при малом размере выборки вариабельность получаемых данных существенно возрастает по сравнению с аналогичными исследованиями, выполненными на более многочисленном материале. Соответственно, коррекция выявленного эффекта изучаемого воздействия с учетом размера исследованной выборки обеспечивает более точное приближение результатов к реальным цифрам, существующим в генеральной совокупности. Коррекция систематической ошибки отбора осуществляется путем вычисления средневзвешенной корреляции выборки (sample weighted mean correlation):

, где

N_i – количество участников исследования,

r_i – стандартизированный эффект воздействия в отдельном исследовании.

Дисперсия средневзвешенной корреляции выборки вычисляется по формуле:

, расшифровку обозначений см. выше.

Средневзвешенный d-критерий Коэна для индивидуальной выборки и его дисперсия вычисляются аналогичным образом.

Поскольку средневзвешенная корреляция выборки не подвержена действию систематической ошибки отбора, ее дисперсия существенно возрастает. Для коррекции дисперсии применяют двухстадийную процедуру. На первой стадии вычисляется дисперсия систематической ошибки отбора:

, где К – количество исследований, включенных в мета-анализ.

На второй стадии для установления дисперсии выборки, подверженной воздействию систематической ошибки отбора, из дисперсии средневзвешенной корреляции выборки вычитают дисперсию систематической ошибки отбора:

Кроме систематической ошибки отбора, на результаты исследований могут оказывать влияние еще две разновидности систематических ошибок, а именно ошибка измерения (mea­surement error) и ошибка ограничения диапазона (range restriction error). Ошибка измерения (также «достоверность теста») оценивается при помощи двух показателей достоверности, вычисляемых из результатов конкретного исследования – r_xx и r_yy (т.е. для независимой и зависимой переменных, соответственно). Как правило, информация, необходимая для расчета указанных показателей, не публикуется большинством исследователей. Хантер и Шмидт предложили специальный метод коррекции средневзвешенного эффекта изучаемого воздействия в выборке путем использования распределения оценок достоверности. Явное достоинство данного метода состоит в том, что он не зависит от особенностей представления результатов в исследованиях, непосредственно включенных в мета-анализ: любое исследование, в котором производилась должная оценка достоверности измерений, может быть использовано для построения распределения указанных оценок.

Для коррекции достоверности необходимо построить распределение коэффициентов достоверности с использованием всех имеющихся источников. Среднее данного распределения вычисляется по формуле:

, где:

r_xx – достоверность отдельного исследования (для независимой переменной);

К – общее количество определений достоверности.

Дисперсия данного распределения определяется как:

Средняя достоверность и дисперсия для зависимой переменной ( , ) определяются по аналогичным формулам.

Как упоминалось выше, еще одним источником ошибок является отклонение диапазона (range departure), которое представляет собой случайное отклонение от установленного среднего эффекта изучаемого воздействия в консолидированной популяции (т.н. rho), иначе – расширение диапазона возможных результатов любого измерения (если рассматривать только крайние значения).

Для коррекции данного явления необходимо вначале вычислить «u» – отношение стандартного отклонения в отдельном исследовании к стандартному отклонению в некоей референсной популяции. Это отношение используется для расчета «с», показателя отклонения диапазона для отдельного исследования, из которого была получена информация о стандартном отклонении. Для вычисления «с» используется следующая формула:

, где:

u – отношение стандартного отклонения в отдельном исследовании к стандартному отклонению в референсной популяции;

r – эффект изучаемого воздействия в соответствующем исследовании.

Поскольку данная информация приводится в публикациях очень редко, необходимо построение распределения элементов отклонения диапазона. Среднее и дисперсия указанного распределения вычисляются по формулам:

, , где:

C_i – показатель «с» отдельного исследования (см. выше);

N_i – количество участников соответствующего исследования;

К – общее количество исследований, включенных в мета-анализ.

Для упрощения вышеописанных манипуляций используется специальная система условных знаков, где средние r_xx и r_yy обозначены как «а» и «b», соответственно, а дисперсия обоих показателей достоверности – как s²_a и s²_b. Аналогично, среднее отклонение диапазона обозначается как «с», а его дисперсия - s²_c.

Имея на руках вышеперечисленные статистические показатели, а именно средневзвешенный критерий r выборки, скорректированную дисперсию ошибок, a, b, c, а также величины дисперсий для средних значений показателей достоверности и отклонений диапазона, можно оценить средний эффект изучаемого воздействия в консолидированной популяции (т.е. rho). Во-первых, нужно внести поправку в средневзвешенный критерий r выборки с учетом ошибки измерения и отклонения диапазона, используя следующую формулу:

Во-вторых, необходимо скорректировать дисперсию взаимосвязи в пределах популяции с учетом ошибки измерения и отклонения диапазона, используя средние значения и дисперсии факторов коррекции достоверности и диапазона a, b и c:

Вышеприведенная формула позволяет вычислить дисперсию среднего эффекта изучаемого воздействия в популяции (rho). В случае, если нет повода предполагать наличие значительных колебаний диапазона между отдельными исследованиями, включенными в мета-анализ (как в большинстве психологических исследований), вышеописанную процедуру коррекции с учетом отклонения диапазона можно опустить [25].

Выполняя мета-анализ, необходимо проводить поиск т.н. переменных-регуляторов (mo­derating variables). Указанные переменные являются «третьим фактором», который может повлиять на интересующую нас взаимосвязь. Для поиска переменных-регуляторов Хантер и Шмидт предложили использовать χ²-тест на систематические вариации [25]:

, где К – количество исследований, включенных в мета-анализ.

Если вычисленный критерий χ² статистически незначим, то в интересующей нас выборке нет ни одной переменной-регулятора. Данный статистический тест является очень мощным при достаточно большом N, он отвергнет нулевую гипотезу даже при незначительных отклонениях между исследованиями. В качестве альтернативы авторами теста предложено «правило большого пальца», при котором сравниваются S²_r и S²_er. Если дисперсия расхождения может объяснить менее 75% нескорректированной дисперсии, можно сделать вывод о возможном наличии переменной-регулятора.

Далее перечислены последовательные этапы, которые исследователь должен осуществить в процессе выполнения мета-анализа:

1. Определиться с областью исследования.

2. Сформулировать критерии для включения публикаций в обзор:

· опубликовано исследование или нет;

· обозреваемый временной период;

· качество проведения исследования и т.д.

3. Определить вид используемой меры стандартизированного эффекта воздействия:

· d-критерий Коэна;

· r-критерий (коэффициент корреляции Пирсона, Pearson's Product Moment Correlation).

4. Поиск исследований, соответствующих критериям включения:

· поиск в библиотеках (лично) и Интернете (можно автоматизировать);

· презентации конференций и симпозиумов;

· отправка писем ученым, занимающимся исследованиями в интересующей нас области.

5. Выбор окончательной подборки исследований:

· личное решение;

· решение научного коллектива;

6. Извлечь данные о факторах, интересующих исследователей, размерах выборок, эффектах воздействий, достоверности измерений и прочих заслуживающих внимание характеристиках каждого из исследований.

· Извлекая информацию о достоверности и отклонениях диапазона, не нужно ограничивать поиск только исследованиями, включенными в настоящий мета-анализ;

· Если опубликованы результаты многочисленных измерений, необходимо использовать их все;

· Данные можно разбивать на подгруппы;

· Усреднить результаты множественных измерений в единое итоговое значение.

7. Закодируйте все характеристики исследований, которые могут иметь отношение к описанной в них выраженности эффекта изучаемого воздействия, как-то:

· особенности дизайна исследования;

· характеристики выборки;

· тип зависимой переменной и т.д.

8. Выполните проверку надежности процедур кодирования:

· с подмножеством данных, используя от 1 до 4 других кодировщиков;

· со всеми данными, используя от 1 до 4 других кодировщиков.