Автоматизированные системы экспертного оцениванияНазад
Автоматизированные системы экспертного оценивания
Проникновение компьютеризации в область выработки и принятия управленческих решений различных уровней, начиная от уровня предприятия, фирмы, и кончая уровнем федеральных проектов, позволило переосмыслить методы и принципы организации интеллектуальной деятельности человека в сфере управления. Автоматизация процессов выработки, принятия, контроля за реализацией управленческих решений позволяет создать мощный инструментарий для повышения качества принимаемых решений. Создаются системы, позволяющие автоматизировать различные аспекты управленческой деятельности.
Экспертные системы (ЭС) предназначены преимущественно для использования специалистами среднего профессионального уровня. Опыт и знания высококвалифицированных специалистов и правила логического вывода позволяют вырабатывать для специалистов среднего профессионального уровня хорошие рекомендации, диагностировать ситуацию.
Системы поддержки принятия решений (СППР) ориентированы на использование менеджерами, которые также не обязаны быть высококвалифицированными специалистами в области, которой им приходится управлять (в США их не более 15%). Менеджеры должны быть высококвалифицированными управленцами.
Однако как бы за кадром остается один из основных участников выработки управленческих решений - высококвалифицированный специалист-эксперт, деятельность которого также должна быть систематизирована, организована, информационно обеспечена, ведь именно экспертные суждения оказывают значительное влияние на качество принимаемых решений. Поэтому все острее встает проблей развития третьего направления автоматизации управленческой деятельности - создание автоматизированных систем экспертного оценивания (АСЭО), предназначенных для повышения эффективности использования высококвалифицированных специалистов как экспертов при выработке управленческих решений. Ранее делались многократные попики автоматизации отдельных экспертных процедур, однако единые системы получения анализа, математической обработки экспертной информации в процессе проведения сложных экспертиз по выработке управленческих решений практически отсутствовали.
Основная задача, стоящая перед АСЭО, - решение сложных управленческих проблем на основе надежной, профессионально полученной и корректно обработанной экспертной информации.
Укажем основные свойства АСЭО, отличающие ее от других интеллектуальных систем, и, в частности, то ЭС и СППР.
1. АСЭО - сложная многоуровневая система, позволяющая организовать проведение экспертизы от формирования целей и конкретного содержания до определения результата и его анализа. В АСЭО при организации и проведении экспертизы предусматривается взаимодействие экспертов, аналитической группы, операторов. Поэтому обязательным элементом АСЭО является технологический граф организации и проведения экспертизы, в котором определена последовательность экспертных процедур, процедур информационного обеспечения, обработки и анализа результатов экспертизы, а также регламентирована деятельность в процессе проведения экспертизы экспертов, аналитической группы, операторов.
2. АСЭО позволяют осуществлять достаточно полную разностороннюю оценку объектов экспертизы с помощью высококвалифицированных специалистов. Процесс экспертного оценивания должен быть информационно обеспечен. Поэтому АСЭО обязательно снабжены базами данных, в которых содержится вся необходимая экспертам и организаторам экспертизы информация об объектах экспертизы.
3. В АСЭО должна быть предусмотрена оценка качества эксперта, как априорная, так и апостериорная, получаемая на основании оценки результатов участия эксперта в проведенных ранее экспертизах. Наиболее конструктивным способом оценки качества эксперта, с нашей точки зрения, является расчет его рейтинга. Рейтинг эксперта может как служить основанием для приглашения специалиста в состав экспертной комиссии, так и учитываться при определении размеров оплаты труда эксперта, в особенности отложенных поощрений.
4. В АСЭО для каждого эксперта предусматривается оценка степени его профессионального знакомства с каждым из объектов экспертизы.
АСЭО позволяют избежать достаточно распространенной ошибки, когда эксперт вынужден оценивать не только объекты, с которыми он знаком профессионально, но и объекты, с которыми он по тем или иным причинам знаком недостаточно. Эксперту предоставляется возможность формировать перечень объектов, которые он предлагает оценивать в процессе экспертизы.
При формировании перечня объектов для оценки каждым экспертом могут учитываться и такие факторы, как нецелесообразность оценки экспертом тех объектов, которые представлены организацией, в которой он работает, либо выполненных при его непосредственном участии, либо в положительной (отрицательной) оценке которых он может быть заинтересован.
5. АСЭО обеспечивают возможность достаточно гибкого оценивания объектов экспертизы. Например, для оценки эффективности деятельности фирмы в целом используются одни критерии, для отдельного её подразделения - другие, для оценки эффективности специалистов различных профилей - сотрудников фирмы также требуются различные оценочные системы. Поэтому в АСЭО предусматривается в качестве обязательного элемента наличие развитой оценочной системы с возможностью ее настройки при оценке того или иного конкретного объекта экспертизы.
Оценочная система включает набор критериев, информацию об их сравнительной весомости, о шкалах для оценки значений по каждому из критериев. В оценочную систему может включаться также информация о сравнимости критериев, зависимости критериев, о наличии эффекта доминирования одной группы критериев над другой. Оценочная система может иметь иерархическую структуру критериев.
В оценочных системах АСЭО предусмотрена возможность формирования индивидуальных оценочных подсистем экспертов, если это необходимо в соответствии с принятой процедурой проведения экспертизы.
6. В проведении экспертиз предполагается участие высококвалифицированных специалистов. Поэтому в АСЭО включаются АРМы эксперта, позволяющие эксперту непосредственно за компьютером в интерактивном режиме осуществлять оценку объектов экспертизы, а при необходимости настраивать индивидуальную оценочную систему, определять степень знакомства с объектами экспертизы, формировать индивидуальный перечень объектов для оценки каждым экспертом.
7. При проведении многих экспертиз требуется не только оценка одного отдельно взятого эксперта, но и оценка коллектива экспертов, представляющих наиболее квалифицированных специалистов в рассматриваемой области, возможно принадлежащих различным школам. Поэтому в АСЭО предусматривается возможность коллективной оценки объектов экспертизы при использовании различных методов организации и проведения экспертиз.
После получения индивидуальных экспертных оценок в АСЭО предусмотрены процедуры обработки экспертной информации, позволяющие получать результирующую экспертную оценку -коллективное мнение экспертной комиссии. В частности, в АСЭО содержатся алгоритмы получения результирующих количественных и качественных оценок, результирующих ранжирований, классификаций и т.д.
8. В АСЭО предусматривается анализ результатов экспертизы. В частности, предполагается оценка согласованности экспертов по результатам оценки объектов экспертизы (по результатам ранжирований, страфикаций и т.д.) с последующей классификацией экспертов- выделением коалиций единомышленников, давших объектам близкие оценки. В АСЭО предоставляется возможность определения результирующей экспертной оценки отдельно для каждой из групп экспертов- единомышленников с последующим анализом. В рамках системы может быть предоставлена возможность оценки непротиворечивости экспертных суждений, их точности и надежности.
В АСЭО могут быть предусмотрены также этапы получения предварительной экспертной оценки с целью выявления и исключения заведомо неконкурентоспособных объектов, не соответствующих предъявляемым требованиям, определения степени дублирования объектов экспертизы с целью более рационального распределения средств, установления соответствия запрашиваемых объемов финансирования и материального обеспечения предполагаемому объему работ. Укажем основные этапы создания АСЭО.
1. Определение общего характера работы
На первом этапе создания АСЭО определяется проблема, решение которой необходимо, устанавливаются цели предполагаемой работы, обсуждается ее содержание. Это отражает существующее понимание проблемы, ожидаемых путей ее решения и, самое главное, ожидаемого результата работы. Изложение проблемы постановщиком может быть недостаточно четким, не совсем логичным. Разработчик АСЭО может предлагать более эффективные технологии решения, показывать дополнительные возможности. Целесообразно обсуждение близких и дополнительных постановок задач, решение которых может оказаться полезным.
На этом этапе может быть полезным знакомство с существующими публикациями по обсуждаемой проблеме, с отчетами, служебными материалами и т.д.
Такая работа позволит достаточно полно и разносторонне представить проблему и, возможно, сделать более полным и разносторонним представление проблемы заказчиком.
После обсуждения проблемы и согласования основных подходов к ее решению и ожидаемых результатов разрабатывается техническое задание.
2. Определение сценария решения проблемы
На этом этапе предполагается более детальное изучение проблемы. Одним из результатов этапа является подготовка блок-схемы решения проблемы, в которой находят отражение основные стадии ее решения. Блок-схема должна быть предложена заказчику и обсуждена с ним. Возможны его критические замечания и конструктивные предложения по корректировке блок-схемы либо даже по принципиальному ее изменению. В результате одной или нескольких итераций возникает согласованная с заказчиком блок-схема решения проблемы.
Затем осуществляется детализация структурных ячеек блок-схемы и на ее основании строится технологический граф решения проблемы, в котором содержится весь перечень процедур, включая интерактивные, подлежащие реализации при создании АСЭО, перечень частных задач, алгоритмы решения которых должны быть реализованы в виде программ, включенных в АСЭО. Они являются событиями технологического графа.
Технологический граф решения проблемы может рассматриваться и как детализированный сценарий решения проблемы, в котором определены роль и задачи каждой из основных групп, принимающих участие в организации и проведении экспертизы: экспертов, аналитической группы, операторов. Определяются режимы реализации каждого события технологического графа: автоматический, интерактивный (диалоговый), ручной (неавтоматический). Технологический граф согласовывается с заказчиком.
3. Определение программы работ
Согласованный с заказчиком технологический граф решения проблемы служит основанием для проведения работ по созданию АСЭО. Определяется перечень теоретических проблем, которые должны быть решены при разработке системы. Определяется, где могут быть использованы известные либо даже стандартные методы и алгоритмы, а где готовые методы и алгоритмы отсутствуют и требуется их разработка. Определяются сроки подготовки методической базы системы и конкретные исполнители, способные обеспечить решение возникающих задач на достаточно высоком профессиональном уровне.
На основании технологического графа определяется и согласованная с заказчиком структура базы данных системы. Определяется и выдается программистам задание На разработку программ для ПЭВМ, реализующих предусмотренные в технологическом графе базу данных, процедуры автоматической обработки данных и диалоговые процедуры. Определяется и выдается задание на программирование входных и выходных форм, необходимых при решении проблемы, форм отчетности и служебных процедур.
Составляется единый календарный график, в которой предусмотрены работы как по подготовке методической базы системы, так и ее программного обеспечения.
4. Выполнение программы работ
В соответствии с программой работ осуществляется разработка системы. Разработка программного обеспечения системы осуществляется под руководством опытного системного программиста, определяющего специфику создаваемого комплекса компьютерных программ, особенности их написания, их взаимодействие в процессе проведения экспертиз с учетом необходимого информационного взаимодействия (обмена информацией, запоминания и хранения информации, обеспечения удобного для экспертов и аналитической группы доступа к информации).
Общее руководство по созданию системы, по разработке необходимого методического обеспечения, по взаимовлиянию методического и программного обеспечения системы осуществляется генеральным конструктором системы.
Для организации более четкого и эффективного выполнения программы работ целесообразно использование таких методов как определение приоритетности и рациональной последовательности выполнения работ, оптимального распределения ресурсов, в том числе трудовых и финансовых. Необходим контроль качества выполнения отдельных работ программы , поскольку система может эффективно работать лишь тогда, когда эффективно работают все ее элементы, когда и методы, и программы реализующие их на ЭВМ, выполнены на достаточно высоком профессиональном уровне.
5. Разработка системы тестов
Для каждого программируемого алгоритма необходимо разработать контрольный пример (тест), по которому может быть проверена правильность работы программы во всех разветвлениях алгоритма при всех возможных сочетаниях исходных условий. Необходим также контрольный пример, позволяющий проверить работу системы во всех возможных режимах. Целесообразно создание банка тестовых примеров. После проверки правильности работы программы или системы в целом возможно построение системы тестов для проверки эффективности работы алгоритма:
точности получаемого приближенного решения, если не отыскивается глобальный оптимум,
чувствительности к изменению исходных данных,
сравнительной трудоемкости отыскания решения,
многокритериальной оценки эффективности работы алгоритмов.
Целесообразно создание полигонов для оценки сравнительной эффективности различных алгоритмов.
6. Апробация рабочего варианта системы
После создания рабочего варианта системы он демонстрируется заказчику. Заказчик определяет степень соответствия системы его целям и задачам, вносит необходимые, с его точки зрения, уточнения и коррективы. Разработка специальных контрольных примеров, позволяющих тестировать систему и отдельные ее элементы, позволяет более точно оценить качество системы, выявить недостаточно эффективные элементы системы и поставить задачу их совершенствования.
Могут отдельно тестироваться основные модули системы, такие как база данных, блок предварительного анализа , блок анализа результатов экспертиз и т.д.
Доработка системы может потребовать разработки дополнительного методического и программного обеспечения, корректировки предложенных методов, алгоритмов, программ.
Доводка системы может осуществляться в несколько итераций. После завершения работ по созданию системы с ее помощью решается одна из конкретных проблем, стоящих перед заказчиком. Если обнаружится недостаточно эффективная работа отдельных модулей либо системы в целом производится необходимая доработка системы.
7. Подготовка отчета
После завершения работы по созданию системы готовится отчет, в который включается:
обзор существующих методов решения проблемы либо близких проблем:
методы и алгоритмы, разработанные или используемые для решения проблемы:
описание структуры системы;
входные и выходные формы системы;
инструкция для пользователя;
описание примера решения проблемы с помощью или с использованием системы.
В отчете должна содержаться вся информация для успешной эксплуатации созданной АСЭО.
Приведем в качестве примера описание АСЭО, в которых реализованы основные требования, предъявляемые к АСЭО. Указанные АСЭО ориентированы на решение различных проблем экспертного оценивания, возникающих при выработке важных управленческих решений.
К числу первых созданных АСЭО относится система экспертного оценивания крупномасштабных проектов "Выбор проекта" (АСЭО-1). Остановимся подробнее на ее возможностях и особенностях. В процессе экспертизы необходимо достаточно мощное информационное обеспечение экспертов. В АСЭО-1 эта задача решается с помощью базы данных о проектах, в которой содержится информация о назначении, областях применения, сроках начала и окончания, включая сроки изготовления опытных образцов, технической характеристике, значениях экологических и социальных критериев и т. д. Не менее важная проблема - формирование компетентных экспертных комиссий. В АСЭО-1 предусмотрена база данных об экспертах, содержащая информацию о компетентности экспертов в данной области, о проектах, которые эксперт может оценить профессионально, о рейтинге экспертов до и после проведения экспертиз.
Для крупномасштабных проектов (и не только для них) характерно наличие многих критериев, по которым они оцениваются. В АСЭО-1 предусмотрен развитый модуль многокритериального оценивания с возможностью формирования набора критериев своего для каждого эксперта, использования количественных и качественных оценок, специально разработанных шкал для оценки проектов по критериям, включая вербально-числовые шкалы. В системе предусмотрена возможность оценивания проектов по критериям специалистами соответствующего профиля. Так экономические оценки дает экономист, экологические- эколог, социологические - социолог, технические -профессионал в соответствующей области техники.
Дополнительные трудности при проведении экспертиз создает большое число проектов, выносимых на экспертизу, как правило, не подвергшихся предварительному отбору. В АСЭО-1 предусмотрен предварительный анализ проектов с целью исключения заведомо неконкурентоспособных, менее значимых проектов, исключения в значительной степени дублируемых проектов, поскольку возможности их финансирования, как правило, ограничены. В системе, например, на основании оценок экспертов степени дублирования проектов производится их автоматическая классификация с последующей выработкой рекомендаций о целесообразном агрегировании (укрупнении) проектов.
Следующая проблема - проблема оценки сравнительной предпочтительности проектов и выбора. В АСЭО-1 она решается двумя способами. Первый способ - стратификация проектов каждым экспертом, т.е. отнесение проектов к одному из фиксированного числа уровней предпочтительности на основании всей предоставляемой экспертами информации о проектах, включая многокритериальные оценки. Результаты стратификации обрабатываются системой в автоматическом режиме, и на экран дисплея выдается информация о сравнительной предпочтительности проектов. Впрочем, как и, практически, вся используемая в системе информация, она может быть выведена на печать. Второй способ определения сравнительной предпочтительности проектов предполагает использование композиционных принципов многокритериального выбора. В АСЭО-1 предусмотрен диалог по определению индивидуального принципа выбора, отражающего систему предпочтений каждого эксперта. Эксперту представляется возможность разбивать критерии на классы сравнимых критериев, соотносить критерии одного класса по степени важности, давая при этом точные количественные, либо интервальные, либо качественные оценки, либо указывая на наличие лексикографического предпочтения. После определения системы предпочтения эксперта для объектов, оцененных ранее по многим критериям, в автоматическом режиме определяется их сравнительная предпочтительность. Полученные двумя способами оценки сравнительной предпочтительности проектов сопоставляются. А поскольку в АСЭО-1 предусмотрена возможность проведения многотуровых экспертиз, сопоставляются также и оценки сравнительной предпочтительности проектов, полученные на разных турах для выработки окончательных рекомендаций экспертной комиссии. Расчет результирующей экспертной оценки на основании оценок проектов по многим критериям производится для случая независимых и зависимых с использованием различных методических подходов.
В практике проведения экспертиз нередки случаи, когда эксперта разбиваются на коалиции по их оценочным суждениям, что должно учитываться при выработке рекомендаций экспертной комиссии. В АСЭО-1 производится оценка согласованности экспертных суждений с учетом возможной неполноты информации, а выработка результирующих суждений производится как для экспертной комиссии в целом, так и для отдельных групп экспертов, классификация которых по степени согласованности в системе предусмотрена.
Если АСЭО-1 может быть использована при определении сравнительной предпочтительности альтернативных вариантов проектов, то автоматизированная система экспертного оценивания "Приоритетность финансирования" (АСЭО-2) позволяет с учетом сравнительной предпочтительности альтернативных вариантов объектов финансирования и других характеристик, а также с учетом необходимых объемов финансирования для каждого объекта определять наиболее предпочтительные пакеты финансируемых объектов при заданном общем объеме финансирования.
Охарактеризуем основные модули АСЭО "Приоритетность финансирования" .
Модуль информационного обеспечения. В отличие от базы данных о проектах АСЭО-1, структура базы данных об объектах финансирования АСЭО-2 имеет более сложную иерархическую структуру. Она содержит три уровня: уровень направлений (первый уровень), каждое из которых содержит определенное количество изделий (второй уровень), уровень аналогов изделий (третий уровень), по сравнению с которыми определяется их конкурентоспособность.
В базу данных помещаются основные характеристики рассматриваемых направлений, изделий, аналогов. После определения состава показателей, характеризующих объекты финансирования, они заносятся в базу данных. После экспертизы по оцениванию экспертами значений субъективных показателей для объектов финансирования, последние также заносятся в базу данных. Таким образом, в базу данных помещается вся необходимая для процедуры экспертного оценивания информация об объектах финансирования. База данных об экспертах АСЭО-2 практически не отличается от базы данных об экспертах АСЭО-1.
Модуль оценки конкурентоспособности изделий. Для оценки конкурентоспособности необходимо определение критериев и показателей, характеризующих конкурентоспособность изделия, их сравнительной весомости. Показатели, как правило, группируются в блоки. Для оценки конкурентоспособности изделий могут использоваться, например, блоки показателей технической эффективности, экономической эффективности, надежности, эргономичности, экологической безопасности и т.д. В модуле предусмотрен расчет обобщенной оценки изделий и аналогов, в основе которого оценка значений частных показателей по специально разрабатываемым вербально-числовым шкалам с учетом сравнительной весомости частных показателей.
Но, с нашей точки зрения, интерес представляют не столько абсолютные значения численных оценок изделия и его аналогов, сколько качественная информация об их сравнительной предпочтительности. Оценки, данные каждым экспертом, позволяют определить общее ранжирование аналогов и изделий. В модуль включено определение результирующего ранжирования аналогов и изделий по методу векторов предпочтений с использованием меры близости на векторах предпочтений и алгоритма решения задачи о назначениях для расчета медианы Кемени.
Результаты расчетов модуля оценки конкурентоспособности представляются в виде ранжированного ряда аналогов и изделий с указанием их цен.
Модуль оценки направлений. Этот модуль предназначен для расчета значений укрупненных критериев, таких как конкурентоспособность, экологическая безопасность, социальная эффективность, ресурсосбережение. Каждый из укрупненных критериев имеет собственную иерархически упорядоченную структуру с более частными критериями-показателями, на основании оценок значений которых, рассчитываются значения укрупненных критериев. Оценка конкурентоспособности направления определяется на основании оценок конкурентоспособности объектов, разработка которых предусмотрена в данном направлении.
Мы не будем останавливаться на модулях сравнительной предпочтительности альтернативных вариантов, основанных как на оценке в целом, так и на принципах многокритериального выбора, модуле анализа результатов экспертиз. Они аналогичны соответствующим модулям, реализованным в АСЭО-1. Остановимся лишь на модуле оценки приоритетности финансирования.
Модуль оценки приоритетности финансирования. В модуле осуществляется постановка и приближенное решение задачи оптимального распределения ресурсов. Целевая функция задачи может формироваться с учетом результатов определения сравнительной предпочтительности объектов финансирования, степени риска, отдельно рассчитанного коэффициента экономической эффективности и т. д. При формировании ограничений учитывается возможность различных уровней обеспечения ресурсами. Решение о выборе пакета финансируемых объектов принимается как на основании разносторонних оценок объектов экспертами, так и с учетом ограниченных общих объемов финансирования. При варьировании значения общего объема финансирования, можно получать различные пакеты объектов, финансирование которых считается наиболее предпочтительным.
АСЭО-2, используемая при решении практических задач определения наиболее предпочтительных объектов финансирования и объемов их финансирования, позволяет повысить эффективность решения этого важного класса управленческих проблем.
Приведем примеры еще двух автоматизированных систем анализа и обработки экспертной информации, которые могут быть отнесены к классу АСЭО.
1. АСЭО "ЕХСО" используется для сопровождения работы экспертного совета. При этом обеспечивается технологическая поддержка всего цикла работы экспертного совета, начиная с регистрации поступающих конкурсных проектов и кончая принятием окончательного решения о финансировании работ.
Система "ЕХСО", как и другие АСЭО, снабжена необходимыми базами данных, содержащими информацию о проектах и их характеристиках с указанием такой информации как организация, представляющая проект, направление деятельности, тип гранта, данные о показателях финансирования и др.
В системе обеспечивается сопровождение процедуры тайного голосования с последующей обработкой информации, позволяющей указать ранжирование проектов по предпочтительности.
Следует отметить присутствующую в системе процедуру определения экспертов, наиболее подготовленных для участия в экспертизе по оценке того или иного проекта, разработанную с использованием аппарата семантических сетей.
Вводя необходимую содержательную информацию о проектах и экспертах, пользователь на выходе может получить наглядно визуа-лизированную на экране дисплея картину взаимного расположения точек, соответствующих проектам, и точек, соответствующих экспертам, на основании которой определятся сравнительная "близость" экспертов и проектов.
В системе также предусмотрена интерактивная процедура подбора рационального варианта финансирования проектов, представленных на конкурс.
На базе АСЭО-1 "Выбор проекта" и "ЕХСО" разработана АСЭО-8, обеспечивающая рациональное распределение ресурсов при формировании пакетов проектов, программ, приоритетных направлений, включенная в Перечень важнейших законченных работ Миннауки РФ.
2. АСЭО "СОМВ1-РС". Одной из отличительных особенностей системы является предоставляемая пользователю возможность формирования технологии сопровождения работы экспертной комиссии и методов обработки экспертной информации в зависимости от характера и особенностей проводимой экспертизы.
Базы данных системы предусматривают представление информации в табличной форме, каждая из которых может характеризовать до тысячи (точнее, до 1024) объектов экспертизы.
Результатом работы системы является стратификация альтернативных вариантов решений по предпочтительности, т.е. разбиение сравниваемых альтернативных вариантов решений на некоторое число, в данной системе заранее заданное, упорядоченных групп вариантов так, что каждая последующая группа вариантов менее предпочтительна, чем предшествующая. Конкретная же процедура установления сравнительной предпочтительности альтернативных вариантов.
сборник
Саморуков Дмитрий Игоревич
Док. 290651 Опублик.: 04.04.07 Число обращений: 561
