Оценка уровня компетентности эксперта Тема 1. Социальная экспертиза. История становления. Типы
1. Предпосылки становления методов социальной экспертизы в социальных науках.
2. Ключевые понятия.
3. Типы социальной экспертизы.
Предпосылки:
1. Развитие индустриального общества → необходимость принятия управленческих решений → необходимость качественной профессиональной Info.
2. Видовое разнообразие жизни → огромное количество знаний, которыми невозможно обладать одному человеку → обращение к узким специалистам.
3. Стремление узнать будущее.
Основные направления социальной экспертизы:
1. Управленческое консультирование (первая треть XX века). Ч.Семпсон, Ф.Тейлор, Э.Мэйо, Харингтон – эксперты по эффективности (научная деятельность + управленческий опыт). Задача – оптимизация ресурсов для повышения производительности труда.
2. Социальная диагностика. Задача – разработать систему знаний, которая позволяла бы идентифицировать ситуацию (экспертная система – исходная база данных).
3. Социальное прогнозирование. Парадигмы:
· Социальное прогнозирование, основанное на теоретических знаниях;
· Экспертное прогнозирование, основанное на практическом опытном знании специалистов в определенной области, которая опираясь на факты своего практического опыта оценивают перспективы развития в той или иной сфере;
Хелмер, Гордон (США) – 60-е гг. Исследование, посвященное прогнозированию перспектив развития мировой науки, научных открытий на предстоящие 20 лет (82 эксперта, задача - прогноз научных открытий).
Ключевые понятия.
В.Луков: Социальная экспертиза – исследование трудноформализуемой задачи, которое осуществляется путем формирования мнений специалистов, компетентных в избранной проблеме.
Эксперт – опытный специалист, который отбирается для участия в экспертизе по признаку компетентности в избранной области.
Зона компетентности эксперта – наличие у эксперта знаний в изучаемой области, которые сформировались непосредственно в его практической деятельности (Белановский) → устойчивое, аргументированное мнение.
Функции эксперта:
1. Диагностическая – освидетельствование состояния объекта, выявляя его структуру, основные функции, связи с окружающим контекстом.
2. Информационная – эксперт как генератор уникального знания, необходимого для восполнения информационных дыр.
3. Прогностическая – возможность эксперта выявлять и прогнозировать ситуацию объекта, его состояние в кратко, средне и долгосрочной перспективе + проектировать сценирий состояния, его реализации.
Экспертная info – совокупное мнение экспертов, полученное в ходе проведения социальной экспертизы.
Типы знаний в экспертной info:
1. Принципиально новые знания в избранной области, которые генерируют эксперты в ходе социальной экспертизы.
2. Оценочное знание – упорядоченный список объектов, которые составляют эксперты на основе своих знаний.
Типы социальных экспертиз:
1. Эвристический. Предполагает, что ведущая функция экспертов – информационная деятельность, качественное приращение нового знания. Эксперты дают определения, основываясь на своем опыте.
2. Алгоритмический. Упорядочивание исходной info. Эксперт выступает в роли судьи, оценщика – аналитико-оценочная деятельность. Итог – ранжированный ряд, заранее заданный алгоритм оценивания.
Тема 2. Методы отбора экспертов
1. Основные принципы отбора экспертов. Требования к статусу эксперта.
2. Характеристики компетентности экспертов.
3. Методы отбора экспертов.
В качестве экспертов могут быть представители разных структур, имеющие разные статусы. Все зависит от того, какую экспертную info мы хотим получить.
В начале необходимо определить статус эксперта:
1. Представители всех ветвей власти (федеральные, региональные, местные). Особенность – сложнодостижимые эксперты. Info о нормативах, о регламентах, о законах, определяющих область деятельности, которую мы изучаем (нормативная и правовая info).
2. Представители общественных, религиозных организаций, работники СМИ, которые обладают менее обобщенными знаниями по проблеме. Специалисты, которые профессионально занимаются формированием актуальной проблемы дня => важность info от них, т.к. эта info обладет легитимностью и актуальностью в текущий момент.
Это высшие уровни экспертизы (политическая элита).
3. Специалисты, топ-менеджеры, профессионалы отрасти (профессиональная элита).
4. Уровень узких специалистов, практиков, обладающих знаниями по конкретным проблемам.
Основные принципы работы экспертов:
Прежде чем приступить к отбору экспертной группы, необходимо разработать представление о том, какую info мы хотим получить.
- Принцип добровольного участия экспертов: необходимость получения согласия эксперта на участие в исследовании при условии, что получаемая info не будет носить статус конфиденциальности. Это уникальные знания, работа на благо решения проблемы → формирование мотивации. Эксперт- профессионал, заинтересованный в info → обещание предоставить ему результаты экспертизы.
- Принцип авторства: эксперты обязуются нести полную ответственность за предоставленную info.
- Принцип вознаграждения: работа экспертов должна достойно вознаграждаться (стоимость рабочего дня эксперта).
- Принцип персональной ответственности за предоставляемую info.
Методы отбора экспертов.
Зависят от характера info и масштабов экспертной проблемы (в масштабах какого объекта решается проблема). Проблема: мировая, государственная, региональная\муниципальная, отраслевая, уровень конкретного предприятия.
Группы методов:
1. Методы отбора экспертов для локальных объектов:
1.1. Метод назначения. Самый распространенный метод для локальных объектов. Это приказ руководителей об участии => нарушение принципа добровольного участия. Особенность – min затраты на подбор экспертов (+). В эту группу попадают лица, лояльные администрации → оценка может совпадать с частным мнением руководителя (-). Попадают специалисты, обладающие повышенной социальной активностью, но не всегда компетентные (-). Смещение экспертной группы в сторону специалистов, не склонных к конфликтам, к открытым выступлениям в сторону администрации (-).
Min недостатков:
1 Включение в составление экспертной группы помимо топ-менеджера руководителей подразделений (коллегиальность принятия решении).
2 Возможность оговаривать с руководством дальнейшего участия экспертов в реализации решений (формирование личной заинтересованности экспертов в работе).
1.2. Социометрический метод. Обеспечение потенциальной возможности участия в экспертизе всех по социометрическому критерию отбора, связанному с проблематикой экспертизы. Персонал совершает выбор. Нарастание напряженности в коллективе (-).
2. Методы отбора экспертов для масштабных объектов:
2.1. Метод «снежного кома». Рабочая группа с заказчиком определяет исходный список экспертов. Эксперты должны обладать max уровнем компетентности, они назначают из своего круга знакомых людей того же уровня компетентности или более высокого уровня. Прекращается составление списков, когда info о возможных экспертах перестает поступать.
2.2. Метод квотного выравнивания. Равное представительство в группах экспертов. Размер этой группы зависит от: 1) характера и количества областей знания, которые должны быть представлены; 2) бюджета.
Специфика групп по методам:
1. Получаем группы со сложившимися отношениями => очень высокое влияние.
2. Нет устойчивых межличностных отношений => нет давления авторитетов.
Оценка уровня компетентности эксперта
Компетентность (Гурвич) – способность эксперта давать info, близкую к истинной.
Классификация критериев компетентности:
1. Азгальдов:
a. Объективность;
b. Контактность;
c. Заинтересованность в экспертизе;
2. Гурвич:
a. Креативность;
b. Эвристичность;
3. Панкова:
a. Информативность;
b. Устойчивость мнений;
c. Владение семантическим полем проблемы (min – владение профессиональной лексикой);
d. Квалиметрическая или измерительная компетентность (способность эксперта работать в заданном режиме измерения, взаимодействовать с другими участника группы и т.п.);
4. Орлов:
a. Объективные показатели, связанные с опытом профессиональной деятельности:
1) Уровень образования;
2) Профиль работы (связь с предметной областью);
3) Опыт работы по профилю;
4) Количество и качество ранее выполненных экспертиз (ранее сбывшиеся прогнозы);
b. Уровень информированности экспертов:
1) Информированность по проблеме;
2) Устойчивость мнений по экспертной задаче;
3) Профессиональная беспристрастность эксперта;
c. Умение работать в команде:
1) Коммуникабельность;
2) Способность к совместному творчеству;
3) Нонконформизм;
Общие требования к оценке – эта процедура не должна быть навязчивой и слишком явной => использование min болезненных методов оценки.
Методы оценки компетентности экспертов:
1) Априорные. Оценка до начала экспертной деятельности.
a) Документальный. Оценка уровня компетентности по вторичным источникам:
i) Листки по учету кадров;
ii) Публикации;
iii) Индекс цитирования;
iv) Справочники профессиональных сообществ;
v) Рейтинги и топ-листы профессиональных журналов;
vi) Итоги конкурсов и т.п.
b) Метод самооценки. Паниотто, Азгальдов: этот метод эффективен, т.к. специалист, уверенный в своих знаниях, как правило, имеет высокий уровень самооценки. Орлов, Гурвич, Панкова: самооценка субъективно зависит от текущего момента в профессиональной деятельности:
i) Насколько вы информативны;
ii) Конкретный вопрос: можете ли вы проранжировать…;
c) Судейский метод. Взаимная оценка экспертами уровня компетентности друг друга (при условии знакомства экспертов). Задаются критерии компетентности или формируется группа наиболее компетентных экспертов, которые должны оценить других.
2) Апостериорные. Во время экспертной деятельности.
a) Тестовый метод. Позволяет оценить степень приближенности знаний эксперта к истинным. Используется на 1ом этапе, может камуфлироваться под экспертное задание. Очень надежный метод, т.к. правильное решение известно. Обычно тестируется 2 критерия:
i) Владение профессиональной лексикой;
ii) Уровень информативности по решаемой проблеме (1ый вопрос не является экспертной проблемой, а служит для оценки компетентности) => Ранжируем список экспертов с разным весом компетентности → после проведенного исследования этот список понадобится для того, чтобы выбрать мнение наиболее компетентных экспертов. В итоге получаем 2 списка:
(1) Список незаменимых экспертов (встреча с экспертами на любых условиях).
(2) Заменяемый список – для подстраховки (более жесткая договоренность, может быть меньшее вознаграждение). Для достижения договоренности необходим специалист.
Этап формирования рабочей экспертной группы: Необходим при будущей коллективной работе экспертов.
Подготовка экспертов к работе:
1) Содержательная адаптация экспертов – все эксперты должны одинаково владеть лексикой, знанием проблемы → в письменной форме или в процессе знакомства. Общее знакомство с экспертной проблемой (дается список вопросов, которые будут обсуждаться → обратная связь: насколько им понятны вопросы, необходимость получения дополнительной info и т.п. → коррекция методических документов).
2) Квалиметрическая адаптация – все получают info о том, какой метод сбора info будет использоваться.
3) Психологическая адаптация (только для групповых форм деятельности) – совмещается с процедурой знакомства:
a) Выявление напряженных оппозиций;
b) Выявление давления авторитетов;
c) Выявление наличия узких интересов;
|