поддержка
проекта:
разместите на своей странице нашу кнопку!И мы
разместим на нашей странице Вашу кнопку или ссылку. Заявку прислать на
e-mail
код нашей кнопки:
Экспертные оценки
Термин "экспертные оценки" обычно понимают двояко: как некоторые
данные, которые получает квалифицированный специалист в данной области -
эксперт при анализе интересующего нас объекта и прогнозировании его
дальнейшего развития, а также как специальную науку, изучающую методы и
модели сбора, обработки, анализа и использования таких данных, тесно
связанную с системным анализом, исследованием операций, теорией принятия
решений, искусственным интеллектом, а также выбором.
Обращаться к экспертам и экспертным оценкам необходимо в первую очередь
потому, что растет потребность в анализе и решении плохо формализованных
задач, в которых взаимосвязи причин и следствий не вполне ясны, а
значения интересующих нас параметров не поддаются непосредственному
измерению. Кроме того, экспертные оценки и вообще экспертиза незаменимы
в задачах прогнозирования, анализ которых обычно опирается на примерные,
оценочные данные.
Центральное в экспертных оценках - понятие экспертизы, т. е. собственно
процесса опроса экспертов, сбора и первичного анализа экспертной
информации. Организаторы экспертизы должны четко представлять ее цели и
понимать суть решаемой задачи.
Следует в первую очередь различать прямую экспертизу, при которой
интересующие нас вопросы задаются экспертам непосредственно ("в лоб"), и
косвенную экспертизу, при которой ответы на такие вопросы определяются в
результате обработки других ответов. Прямые экспертные методы хороши для
сравнительно простых вопросов. Чем сложнее исследуемые вопросы, чем
более детальными и распространенными должны быть ответы, тем
предпочтительнее косвенные экспертные методы, хотя их обработка более
сложна и трудоемка.
В зависимости от типа задаваемых вопросов выделяют экспертизу оценочную
и ситуационную. Цель первой - получить в конечном счете оценочное
значение параметра или критерия, измеренного в какой-то естественной или
специально придуманной шкале. Нередко при этом эксперта просят дать
прямую оценку этого значения, которая может быть числовой или балльной.
При достаточно простой и грубой шкале получить такую оценку нетрудно,
однако, если шкала слишком детальна, эксперту нелегко оперировать с ней
непосредственно. Выход из такого положения - "огрубить" шкалу и ввести
на ней новые, укрупненные градации, задаваемые вербально, т. е. на
словесном уровне. Такие вербальные оценки могут оказаться более
устойчивыми и адекватными.
Другая возможность - перейти к косвенным сравнительным схемам, в которых
от эксперта не требуют прямых оценок, а просят сравнить имеющиеся
объекты, чтобы определить, у какого из них интересующее нас свойство
проявляется сильнее (сами же числовые или балльные оценки вычисляются
впоследствии по совокупности ответов при помощи специальных процедур,
называемых шкалированием). Практика показывает, что с такими вопросами
эксперты справляются уверенно и нередко могут даже приблизительно
оценить, насколько
заметна разница в проявлении оцениваемого свойства у различных объектов.
Примером сказанному могут быть выборы "королевы красоты". Ясно, что без
экспертов тут не обойтись. Однако попытка ввести, скажем, 100-балльную
шкалу красоты и предложить экспертам оценить претенденток по этой шкале
вряд ли целесообразна (шкала излишне подробна, чересчур искусственна и
недостаточно хорошо определена). Попытка огрубить ее, вводя интуитивно
понимаемые градации лингвистической переменной "красота" типа:
"прекрасна", "очень хороша", "божественна" и т. п., облегчит положение
экспертов (хотя следует учесть, что разные эксперты будут понимать эти
градации по-разному), и новой шкалы может оказаться недостаточно для
выявления победительницы. Разумный выход в этом случае - предложить
экспертам сравнить претенденток, скажем, попарно и по результатам таких
парных сравнений определить победительницу при помощи методов теории
принятия решений. Другой выход - ввести по согласованию с экспертами
вспомогательные критерии, определяющие понятие "красота", например:
"стройность фигуры", "правильность черт лица" и т. п. Получить оценки
таких, менее комплексных, критериев проще, итоговая же оценка получается
как свертка этих вспомогательных оценок.
Ситуационная экспертиза обычно преследует совсем иные цели. Участвующим
в ней экспертам предлагают рассмотреть некоторые ситуации, т. е.
совокупности фактов, утверждений и данных, характеризующих состояние
объекта. В задачи экспертов входит определить и оценить взаимосвязи
(главным образом причинно-следственные) между имеющимися фактами и между
отдельными ситуациями, дать прогноз развития объекта в различных
ситуациях, выработать рекомендации о возможных действиях. Такая
экспертиза обычно весьма сложна, и в ней широко используются как прямые,
так и косвенные методы.
Если в оценочной экспертизе эксперт-человек выступал в роли, по сути,
некоего измерительного прибора, то в ситуационной экспертизе он играет
роль прибора-советчика. Реальный эксперт, обладающий достаточными
знаниями о своей предметной области, обычно уверенно справляется с
обеими ролями, а практическая экспертиза часто включает в себя как
оценочные, так и ситуационные аспекты. Ситуационная экспертиза стала
применяться чаще после разработки экспертных систем - интеллектуальных
систем, призванных играть роль прибора-советчика, построенного на базе
формализованного опыта и знаний эксперта. Ядро системы - база знаний о
предметной области. Чтобы разработать и заполнить такую базу знаний,
нужно глубоко проанализировать содержание предметной области и провести
анализ с помощью различных экспертных схем и методов.
Различают групповую и индивидуальную экспертизу. Групповая экспертиза
предпочтительнее в тех оценочных задачах, когда усреднение мнений многих
экспертов позволяет получить более устойчивую оценку. Но при групповой
экспертизе бывает трудно получить согласованное групповое мнение, и к
тому же оно может не удовлетворить многих, а иногда даже всех экспертов.
Для согласования мнений экспертов используются разнообразные схемы и
процедуры (в частности, широко известный метод
"Дельфи"), однако на практике
они не всегда эффективны. Например, конклав - высший совет кардиналов,
выбирающий на закрытом заседании римского папу, - случалось, заседал по
нескольку месяцев и не мог прийти к единому мнению, и лишь угроза
перевода "экспертов" на хлеб и воду приводила к согласию.
Организация экспертизы, разработка ее сценария, определение вопросов,
задаваемых экспертам, обычно требует знания когнитивной психологии,
психофизики, теории принятия решений. Для обработки ее результатов
используется аппарат математической статистики, теории графов,
исследования операций, теории нечетких множеств и т. п.
Но не следует думать, что экспертиза - это некий золотой ключик для
открывания всех дверей, универсальный инструмент для решения любых
проблем и что при грамотном подборе экспертов можно получить ответ на
все вопросы. Увы, это совсем не так. Эксперт может адекватно ответить
только на корректно сформулированные, понятные и ему, и организаторам
экспертизы вопросы. Если же организаторы опроса толком не понимают, о
чем спрашивают, ответы экспертов не смогут ничего прояснить.
