Главная / Рефераты / Информатика, программирование

Реферат: Процедура установления соответствия между задачей и методом

Процедура установления соответствия между задачей и методом

Ю. Сидельников, С. Салтыков

Введение

Актуальность задачи повышения точности экономических прогнозов и на этой основе качества управленческих решений связана с увеличением масштабов преобразований экономики и изменением экономического уклада. Одной из мер, помогающих решить эту задачу, является обоснованный выбор метода экономического прогнозирования.

Есть предположение, что в наибольшей степени этот обоснованный выбор определяется сложностью прогнозной задачи (1). Поэтому целью исследования является разработка алгоритма определения уровня сложности прогнозной задачи оценивания, что, в свою очередь, поможет установить соответствие между задачами определенного вида и группами экспертных методов.

Ретроспективный анализ исследований по данной теме

В научной литературе по экспертным методам и экспертному прогнозированию существует два основных подхода к отбору лучшей методики или процедуры. Первый подход сводится к попарному сопоставлению нескольких методик и отражен, как правило, в зарубежной литературе.

Так, например, в 1960-е гг. в корпорации РЭНД под руководством Нормана Дэлки была проведена серия экспериментальных исследований (2), выявивших следующий факт: модификация традиционного метода дельфи, так называемый метод дельфи-II, использующий многоточечные оценки, в большинстве случаев предпочтительнее метода дельфи.

В начале 1970-х гг. сотрудник Питсбургского университета Дэвид Форд провел серию аналогичных тестовых экспериментов по сопоставлению трех методик: стандартной дельфи, дельфи-II и собственной итеративной процедуры, названной автором «шанг» (3). Автор получил следующие результаты: его собственная методика повышала точность оценок на последнем туре процедуры и, значит, имеет право на существование, а относительно сопоставления дельфи и дельфи-II результат был прямо противоположен тестовым экспериментам Брайана Берниса Брауна, Сэмюэля Кохрана и Нормана Делки.

Среди современных зарубежных работ в рамках такого же подхода необходимо отметить исследования Международного института системного анализа (4). Авторы рассматривают проблему выбора лучшего метода прогнозирования для конкретного класса задач — демографического прогнозирования. Они рассмотрели достоинства и недостатки применения различных методов для их задачи и сопоставили статистические методы, метод дельфи и разработанную авторами прогностическую процедуру. Сравнив различные варианты, авторы предлагают отобрать как наиболее подходящую для их задачи ими же разработанную процедуру.

В СССР и России исследования, направленные на разработку процедур отбора наиболее эффективных методов для решения прогнозных задач, проводились лишь эпизодически и практически всегда в рамках другого подхода. В рамках такого подхода:

методики и методы не сопоставляются попарно;

формулируются требования к методу на основе апостериорного анализа прогноза. Например, в статье С.Н. Селиванова и И.В. Гущина «К вопросу о выборе метода прогнозирования организационной системы на основе анализа ошибок прогноза» (5) утверждается, что метод прогнозирования должен выбираться с наименьшей трудоемкостью при обеспечении требуемой точности: «Часто основным критерием при выборе метода прогнозирования или конкретной прогнозирующей системы является общая трудоемкость исследования с применением данной методики при обеспечении требуемой точности прогноза. Общая трудоемкость прогнозирующей системы (методики) прямо обусловливает время и стоимость ее разработки, время, затрачиваемое на исследование. Наконец, чем меньше общая трудоемкость разработки методики и подготовки ее к исследованию (при сохранении заданной точности), тем более обширные исследования могут быть проведены с помощью данной методики»;

поиск исследователей направлен на выявление соответствия между методом и объектом. Например, в брошюре Э.С. Минаева и Р.И. Песелевой «Рекомендации по выбору и комплексированию методов прогнозирования» (6) утверждается, что возможна классификация объектов и методов прогнозирования по одному признаку и как следствие «совпадения свойств метода прогнозирования и объекта, соответствующих единому признаку, означает, что метод и объект адаптивны друг к другу»;

отбор наиболее эффективного метода связан с поиском соответствия между методом и задачей и в работе Ю.В. Сидельникова «Системный анализ технологии экспертного прогнозирования» связан только лишь с экспертными методами.

Предложения по созданию новой процедуры установления соответствия между прогнозной задачей и методом

Почему же столь интересные и серьезные исследования, упомянутые выше, не нашли практического применения при отборе наиболее эффективных экспертных методов для решения прогнозных задач? Мы предполагаем, и в этом будут состоять наши гипотезы, что для решения задачи по отбору наиболее эффективной процедуры (метода) необходимо учесть нижеследующие дополнительные требования (условия):

Четко определить подмножество задач, для которых может быть использована соответствующая процедура отбора наиболее эффективных экспертных методов. В данной статье, говоря о задаче, всегда подразумеваем прогнозную задачу оценивания. Более детально этот вопрос здесь не рассматривается.

Четко определить подмножество экспертных методов. В рамках данной статьи будем рассматривать процедуры (методы), позволяющие получить новую информацию, в том числе и для участвующих в них специалистов.

Учитывать многокритериальность реальных задач, используя различные модели проблемной ситуации (7, 8).

Рассмотреть различные виды характеристик: не только метода и объекта прогнозирования, но и самой прогнозной задачи (9), а также учитывать характеристики кортежа «задача — метод». Укажем примеры характеристик каждого из упомянутых видов, на основе которых необходимо отбирать метод и которые мы будем использовать в данной работе. Одной из основных характеристик любого из экспертных оценочных методов является число опрашиваемых специалистов и форма подачи информации, в которой эксперты дают свои заключения.

В отличие от С.Н. Селиванова и И.В. Гущина, мы рассматриваем трудоемкость исследования с применением данной методики как характеристику не методики или метода, а пары «задача — метод». Точно так же характеристикой кортежа «задача — метод» являются точность решений данного класса задач с помощью рассматриваемой группы методов или методик. Основные характеристики задачи оценивания будут подробно рассмотрены в следующем разделе.

Две основные характеристики задачи оценивания

Предложим и опишем две характеристики задачи оценивания, существенные для выбора наиболее эффективного метода ее решения. Мы считаем, что ими являются сложность задачи и ее обширность (10).

Поясним понятие «сложность задачи оценивания». В рамках данной статьи это понятие будет использоваться как синоним понятий «нетривиальность», «креативность». Для раскрытия этого понятия применим понятие «парадигмальное основание», играющее, по сути, роль основополагающего утверждения, используя которое, можно вывести основы новой теории, направления или же объяснить ранее не понятное явление, используя набор объясняющих правил. Примерами таких парадигмальных оснований могут служить:

утверждение о наличии различных логик (Аристотелева, трехзначная, нечеткая, конфуцианская и т.д.) Так, например, явление корпускулярно-волнового дуализма трудно пояснить в рамках Аристотелевой логики, но оно не вызывает затруднений, если исходить из парадигмального основания, что надо основываться на трехзначной логике, где принцип исключения третьего отсутствует;

утверждение о возможности искривленности реального трехмерного пространства, описываемого некоторой геометрией. Например, феномен гравитации в общей теории относительности трудно описать исходя из того, что геометрия пространства-времени описывается геометрией Евклида, но достаточно просто исходя из того, что реальное пространство адекватней описывать, используя геометрию Минковского.

Кроме того, в данной работе мы будем использовать такую характеристику прогнозной задачи, как обширность. Выделим три ее уровня, основываясь на усредненной скорости получения информации об исследуемом объекте (процессе) большинством научного сообщества.

Задача имеет i-й уровень обширности, если информация, которая поможет ее решить, может быть получена из:

автоматизированных источников (i = 1; I уровень);

печатных источников или от исследователей (i = 2; II уровень);

непосредственных экспериментов (i = 3; III уровень).

Отдельно стоит отметить, что, скорее всего, задач V и IV уровней, сложности и I уровня обширности не существует.

Алгоритм определения уровня сложности прогнозной оценочной задачи

Вслед за Г.С. Альтшуллером (11) мы выделяем пять уровней сложности задачи, но трактовать их будем по-другому. Для этого более детально рассмотрим схематичное изображение алгоритма определения уровня сложности прогнозной оценочной задачи, приведенное на рис. 1.

Рис. 1. Блок-схема процедуры определения уровня сложности прогнозной задачи оценивания.

К задачам I уровня сложности относятся те, способ решения которых уже известен. Это своего рода крайний случай.

Для задач II уровня сложности:

Способ решения неизвестен, но варианты решений можно вычленить. При этом под вариантом решения прогнозной оценочной задачи мы понимаем конкретный вариант развития событий в будущем.

Задачу можно решить, исходя из текущих представлений о рассматриваемом объекте большинства представителей научного сообщества, базирующихся на уже имеющихся парадигмальных основаниях.

Полный перебор вариантов решения задачи возможен.

Мы полагаем, что в этом случае целесообразна систематизация направлений поиска решения исследователем. Этой систематизацией в ходе решения задачи преодолевается инерция мышления эксперта.

Для задач III уровня сложности:

Способ решения неизвестен;

Задачу можно решить, исходя из текущих представлений об объекте исследования, базирующихся на уже имеющихся парадигмальных основаниях;

Полный перебор вариантов невозможен или варианты решений невозможно вычленить.

Мы полагаем, что в этом случае целесообразна хаотизация направления поиска задачи в надежде найти «ключик» для ее решения. В ходе решения такой задачи также преодолевается инерция мышления эксперта.

Для решения задач IV и V уровней сложности необходимо в явном виде осознать парадигмальные основания, на которых базируются представления об исследуемом объекте.

После того как существующие парадигмальные основания осознаны и понята необходимость выработки новых, следуют такие шаги:

Вырабатываются новые парадигмальные основания, позволяющие подойти к решению поставленной задачи.

Формулируются новые представления об объекте исследования, базирующиеся на новых парадигмальных основаниях. При этом:

если задача — IV уровня сложности, то нецелесообразно создавать целостную новую дисциплину (теорию), а достаточно подобрать набор объясняющих правил (что возможно в том случае, если эти правила верифицируются незначительным числом исследователей в течение непродолжительного времени);

если задача — V уровня сложности, то для ее решения необходимо создавать целостную новую дисциплину (теорию), именно теорию, а не набор объясняющих правил, так как она будет верифицироваться гораздо большим числом исследователей в течение существенно большего времени.

В ходе решения задач IV и V уровня сложности преодолеваются психологические барьеры (ограничения), связанные с имеющимися неосознанными парадигмальными основаниями в представлениях эксперта.

Таким образом, для задач IV уровня сложности:

Способ решения неизвестен.

Исходя из текущих представлений об объекте исследования в рамках решаемой задачи, базирующихся на уже имеющихся парадигмальных основаниях, решить задачу нельзя.

Число различных экспериментов, позволяющих проверить решение задачи, основанное на новых парадигмальных основаниях, невелико, что дает возможность не создавать новую целостную дисциплину (теорию) об этих объектах и явлениях, а подобрать набор правил или эвристических приемов для ее решения.

Для задач V уровня сложности:

Способ решения неизвестен.

Число различных экспериментов, позволяющих проверить решение задачи, основанное на новых парадигмальных основаниях, велико. Поэтому для решения таких задач необходимо выстроить полностью новую систему представлений эксперта об объектах и явлениях, связанных с этой задачей или построить новую целостную дисциплину (теорию) об этих объектах и явлениях.

Исходя из вышеприведенного описания уровней сложности задачи, построим древовидное разбиение совокупности прогнозных оценочных задач (рис. 2).

Рис. 2. Древовидное разбиение совокупности прогнозных оценочных задач.

Поясним рис. 2. Понятия «нормальная задача» и «экстраординарная задача» по смыслу схожи с введенными Томасом Куном понятиями нормального и экстраординарного исследования (12).

В результате все прогнозные оценочные задачи были поделены на пять совокупностей. Важно отметить, что задание порядка на этих совокупностях задач (т.е. определение уровней сложности задач) имеет смысл лишь для больших хозяйствующих субъектов (например, корпораций). Это связано с тем, что исследователей, способных решать задачи высокого уровня сложности, почти всегда меньше, чем тех, которые решают несложные задачи. Этот феномен подтверждается исследованиями Альтшуллера по определению доли изобретений каждого уровня сложности в СССР (13). Он проанализировал достаточно много изобретений за 1965 и 1969 гг. Результаты этого анализа приведены в табл. 1.

Табл. 1. Доля изобретений различных уровней сложности.

Причем Альтшуллер анализировал изобретения, представленные в авторских свидетельствах, среди которых не должно быть изобретений I уровня, т.к. это тривиальный уровень, или, говоря его же словами, «неизобретательские изобретения». Среди изобретений, не являющихся тривиальными (с уровня II по уровень V), видим строго монотонное убывание доли изобретений при увеличении уровня сложности, что говорит отчасти об уменьшении числа изобретателей, способных решать более сложные задачи.

Поэтому отношение порядка на пяти изображенных на рис. 2 совокупностях задач (т.е. уровни сложности) для больших хозяйствующих субъектов задается через долю исследователей, способных решить задачу соответствующего уровня сложности. Но такое задание порядка может не иметь смысла для отдельно взятого исследователя.

Определять уровень сложности нужно априорно и апостериорно. Последнее легче, потому что к этому моменту исследователь обладает сравнительно большей информацией, можно определить конкретный уровень сложности и напрямую пользоваться вышеприведенным описанием уровней сложности.

Нам же для выбора наиболее эффективного метода необходимо определять уровень сложности задачи априорно. Для этого случая рассмотрим схему применения алгоритма определения уровня сложности задачи, представленную на рис. 1. Исследователь обладает меньшей информацией, и напрямую использовать вышеприведенное описание затруднительно. Поэтому для ответа на каждый из вопросов приведенного алгоритма используются не просто балльные оценки, а нечеткий их аналог — многоточечные оценки второго рода, где сама оценка эксперта представлена несколькими балльными оценками, а степень уверенности в этом эксперта задана в виде распределения 100% на всем множестве представленных балльных оценок, т.е. может быть представлена гистограммой или эмпирической плотностью распределения. Именно это, по сути, подтверждает утверждение Куна о том, что «вопросы выбора парадигмы никогда не могут быть четко решены исключительно логикой и экспериментом». Например, можно представить оценку сложности задачи как II либо III уровень, при этом степень уверенности эксперта составит соответственно 60% на 40%. Теперь перейдем к другой проблеме, связанной с алгоритмом, приведенным на рис. 1, и выясним, к какому из двух уровней сложности относится наша задача — ко II или к III. При априорной оценке уровня сложности задач, решаемых исходя из представлений, основанных на текущих парадигмальных основаниях, не всегда можно определить примерное число вариантов, перебираемых при решении. Мы предлагаем ориентироваться на степень уверенности исследователя в правильности решения задачи. Предполагается, что если задача — II или III уровня сложности, то структура множества вариантов решения задачи примерно известна. Чаще всего в первом приближении она может быть представлена в виде двух- или трехмерной матрицы (таблицы), графом типа «дерево» с небольшим числом вершин и т.д. Это делает возможным перебор вариантов для случая, когда мы можем ограничиться этой грубой идеализацией. А мы можем ограничиться ею в случае, если от исследователя требуется не очень высокая степень уверенности в правильности решения задачи, тогда полагаем, что это задача — II уровня сложности. Когда же требуется высокая степень уверенности в правильности решения задачи, следует учесть, что многое из реального мира не «впишется» во множество вариантов решений, представленных, скажем, в виде двухмерной таблицы. В этом случае систематизировать перебор вариантов решения задачи не получится и придется хаотизировать процесс поиска решения, т.е. действовать как в случае с задачей III уровня сложности.

Теперь перейдем к еще одной проблеме, связанной с рассматриваемым алгоритмом, и выясним, как узнать, к какому из двух уровней сложности относится наша задача — к IV или V. Если при априорном оценивании мы решили, что будем пытаться решать задачу исходя из новых парадигмальных оснований, то для того, чтобы определить уровень сложности задачи — IV или V, необходимо определить примерное число различных экспериментов, которые будут проверять полученное решение. Задача определения примерного числа различных экспериментов представляет собой отдельную, самостоятельную задачу, по-видимому более низкого уровня сложности. Таким образом, получается, что высокие уровни сложности определяются посредством использования задач более низких уровней сложности, т.е. рекурсивно.

Проверки какой-либо гипотезы при помощи большого или малого числа экспериментов качественно различны в том смысле, что они по-разному выявляют уровень несоответствия в построенных научных конструкциях (теориях, дисциплинах, наборах объясняющих правил и т.д.), на основе которых решается оценочная задача. Эта разница связана с тем, что результаты небольшого числа экспериментов часто можно обосновать довольно простой совокупностью объясняющих правил или научной конструкцией. Когда же число экспериментов сильно увеличивается, эти объяснения начинают «трещать по швам». И тогда исследователь убеждается, что такая научная конструкция не имеет объяснительной и предсказательной силы. Для увеличения уровня воспроизводимости результатов, для того чтобы перейти от объясняющих правил, работающих на малом числе экспериментов, к целостной теории, способной выдержать большое число проверочных экспериментов, необходима как парадигма погоня за точностью измерений. Например, когда уровень развития измерительной техники был не очень высок, некоторый круг явлений вполне логично и внятно можно было объяснить на основе теории флогистона. По этому поводу Кун заметил, что, «например… теория флогистона внесла упорядоченность в большой ряд физических и химических явлений. Она объяснила, почему тела горят… и почему металлы имеют намного больше общих друг с другом свойств, нежели их руды… Кроме того, теория флогистона объяснила ряд реакций получения кислоты при окислении веществ, подобных углероду и сере. Она также объяснила уменьшение объема, когда окисление происходило в ограниченном объеме воздуха» (14). Эта цитата показывает, как в целом разумно и логично можно объяснить довольно разнородные явления, предполагая существование не рассматриваемой современной наукой универсальной горючей субстанции.

Соответствие древовидных разбиений совокупностей экспертных методов и прогнозных оценочных задач (применение различных групп экспертных методов для решения задач различных уровней сложности)

Итак, мы показали, что разбиение прогнозных оценочных задач на уровни сложности существует и является группировкой. Более того, можно определить уровень сложности задачи до того, как она решена, т.е. априорно. Теперь покажем, что оно может быть эффективно использовано для выбора метода, что между разбиением задач на уровни сложности и неким разбиением методов на группы существует глубокая, органичная связь. Рассмотрим древовидное представление совокупности экспертных методов.

Рис. 3. Древовидное разбиение совокупности экспертных методов.

Сопоставляя рис. 2 и 3, видим, что древовидные разбиения совокупностей прогнозных экспертных задач (рис. 2) и экспертных методов (рис. 3) сходны друг с другом (как ориентированные графы).

Исходя из этого, полагаем, что задачи II уровня сложности соотносятся с группой методов, в основе которых лежит систематизация перебора вариантов решения задачи, а задачи III уровня сложности соотносятся с группой методов хаотизации перебора.

Итеративные процедуры позволяют решать задачи, не выходя за пределы текущих парадигмальных оснований. И между собой объединяет их то, что они, кроме прочего, преодолевают инерцию мышления экспертов путем их взаимодействия. Способ преодоления инерции мышления в данном случае — систематизация или хаотизация — не конкретизируется. Отсюда делаем вывод, что эта группа методов соотносится как со II, так и с III уровнем сложности.

Покажем, что такая связь есть и для решения задач уровня сложности выше III. Сначала рассмотрим трактовку уровней рефлексии по Д.А. Новикову и А.Г. Чхартишвили (15). «Рефлексия начальных уровней также может интерпретироваться следующим образом. Предположим, что есть субъект, который воспринимает окружающий его мир. Можно выделить несколько уровней восприятия (уровней рефлексии). На нулевом (бытийном, нерефлексивном) уровне у субъекта существуют определенные представления об окружающем мире (возникающие как его отражение), однако он не осознает, что представления могут быть неполными, искаженными и т.д… Первый уровень восприятия, на котором уже присутствует рефлексия, назовем научным, т.к. именно на нем впервые возникают осознанные различия между субъективным и объективным описанием действительности (характерным примером первого ранга рефлексии является научная рефлексия по Г.П. Щедровицкому (16). Второй уровень рефлексии назовем философским, так как он характеризуется появлением представлений о многообразии способов отражения и осознанием возможности выбора способа познания». Итак, субъект со вторым уровнем рефлексии, кроме прочего, обладает философским видением мира и, стало быть, способен к философскому анализу. Полезен ли для нас философский анализ? Наверное, да, ведь Кун в качестве инструмента для перехода к новой парадигме (для решения задачи высокого уровня сложности) предлагал использовать именно «философский анализ» (17): «…в периоды осознания кризисов… ученые обращаются к философскому анализу как средству для раскрытия загадок в их области». И далее: «...мы отмечали, что полного ряда правил, которого добивается философский анализ, не существует. Но это не означает, что поиски предположений (даже не существующих) не могут быть эффективным способом для ослабления власти старых традиций над разумом и выдвижения основы для новой традиции».

Таким образом, это дает возможность предположить, что философский анализ (упомянутый Куном) может осуществляться субъектом со вторым уровнем рефлексии, и этот уровень рефлексии, в числе прочего, дает возможность двигаться к осознанию парадигмальных оснований. Зададимся вопросом: существует ли метод получения новой информации от эксперта, который включал бы в себя элементы рефлексии? Да, существует. При внимательном рассмотрении списка контрольных вопросов Тима Эйлоарта (18) видим, что нижеприведенные вопросы базируются на рефлексивной схеме:

Вопрос № 18. Уточнить, чья это проблема. Почему его?

Вопрос № 20. Кто еще решал эту проблему и чего добился?

Стоит отметить, что нам важен рефлексивный подход не сам по себе, а лишь как средство для движения к осознанию ограничений существующими парадигмальными основаниями, поэтому уместен последний вопрос из списка Эйлоарта и примечательно, что он замыкающий.

Вопрос № 21. Определить общепринятые граничные условия и причины их установления.

Это позволяет предположить, что подобную реализацию метода контрольных вопросов можно использовать для решения задач IV уровня сложности.

Рассмотрим теперь, как же можно решать задачи V уровня сложности. Предполагаем, что список контрольных вопросов может быть дополнен некими подсказками, или эвристиками, которые позволят исследователю отделить создающиеся основы перечней объясняющих правил от основ целостной теории. Эти эвристики мы не знаем, но предполагаем, что они существуют, так как существуют исследователи, которые решили несколько крупных задач V уровня сложности, создав основы целостных новых теорий. Так, например, Альберт Эйнштейн сумел разработать и специальную, и общую теорию относительности, что позволило, например, устранить расхождения в экспериментальных данных и теоретических расчетах относительно оценки величины движения перигелия Меркурия. Т.е. имеются основания полагать, что можно найти методы для решения задач V уровня сложности.

В соответствии с этим составим таблицу соответствия между уровнями сложности и группами методов по Ю.В. Сидельникову.

Табл. 2. Соответствие между уровнями сложности задачи и группами методов.

Из таблицы видно, что на II и III уровни сложности задачи «ложится» большая часть методов получения новой информации. Поэтому для повышения избирательности обоснованного отбора метода полезно использовать такую характеристику прогнозной задачи, как обширность задачи, оценка которой имеет три различных уровня.

Таким образом, мы получили, что произвольную оценочную задачу можно отнести к одному из 15 классов (исходя из пяти уровней сложности и трех уровней обширности).

Полезность введения понятия «обширность» может быть проиллюстрирована следующим примером. Для решения некой задачи II уровня сложности можно использовать и, скажем, морфологический анализ, и процедуру дельфи. Какой из этих методов (инструментов) целесообразно выбрать в данном конкретном случае зависит, кроме прочего, от обширности задачи. Если это некая задача I уровня обширности, то, скорее всего, морфологический анализ будет предпочтительней, т.к. он переберет все варианты и будет не намного более трудоемким (если будет), чем процедура дельфи. Если же задача III уровня обширности, то морфологический анализ в типичном случае будет существенно более трудоемким, чем дельфи, что перекроет преимущество в точности (если оно будет). Поэтому более предпочтительной окажется процедура дельфи. При одинаковом уровне сложности уровень обширности позволяет сделать обоснованный выбор метода более селективным.

Полученные характеристики задачи (сложность и обширность) используются в многокритериальной модели ситуации принятия решения наряду с другими характеристиками задачи, метода и кортежа «задача — метод» для отбора нескольких наиболее эффективных методов решения рассматриваемой прогнозной оценочной задачи.

Заключение

В данной работе впервые рассмотрена процедура установления соответствия между прогнозной задачей оценивания и экспертным методом, позволяющая проводить обоснованный выбор группы методов. Для реализации процедуры разработан алгоритм определения уровня сложности прогнозной задачи оценивания, причем градации этих уровней одинаково интерпретируются различными прогнозистами (что позволит в дальнейшем автоматизировать процедуру отбора нескольких наиболее эффективных методов).

Список литературы

Сидельников Ю.В. Системный анализ технологии экспертного прогнозирования. М.: Изд-воМАИПРИНТ«МАИ», 2007.

Brown B., Cochran S. and Dalkey N. The Delphi Method II: structure of experiments. Memorandum RM — 5957 — PR, The Rand Corporation, Santa Monica, California, 1969, June.

Ford D.A. Shang Inquiry as an alternative to Delphi: some experimental findings. Technol. Forecast. and Soc. Change, 1975, 7 (2), p. 139–164.

Lutz W., Saariluoma P., Sanderson W. C., Scherbov S. New Developments in the Methodology of Expertand Argument-Based Probabilistic Population Forecasting / Interim Report, International Institute for Applied Systems Analysis. Laxenburg, Austria, 2000.

Селиванов С.Н., Гущин И.В. К вопросу о выборе метода прогнозирования организационной системы на основе анализа ошибок прогноза // Сб. трудов Всесоюзного научнотехнического семинара «Опыт разработки прогнозов развития отраслей». Ереван, май 1980, с. 235–246.

Минаев Э.С., Песелева Р.И. Рекомендации по выбору и комплексированию методов прогнозирования. Минск, 1989.

Подиновский В.В. Введение в теорию важности критериев в многокритериальных задачах принятия решений. М.: Физматлит, 2007.

Сидельников Ю.В., Салтыков С.А. Модель социально-экономической ситуации принятия решений при выборе экспертного метода // Сб. трудов XXXV Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе». Ялта, Гурзуф, май 2008, с. 364–365.

Салтыков С.А., Сидельников Ю.В. Об экспериментальном исследовании по проверке гипотезы о связи сложности объекта прогнозирования и выбора наиболее точного вида экспертной оценки // Сб. трудов «Второй научной школы-семинара по проблемам управления большими системами». Воронеж, 2007, с. 128–130. Необходимо обратить внимание, что в статье впервые рассматриваются не характеристики объекта, как это обычно бывает, а характеристики задачи об объекте исследования и кортежа «задача — метод».

Салтыков С.А. Обширность задачи как один из ключевых факторов выбора наиболее эффективного экспертного метода // Сб. трудов XXXV Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе». Ялта, Гурзуф, май 2008, с. 360–361.

Альтшуллер Г.С. Найти идею. Новосибирск: Наука, 1986, с. 44–49.

Кун Т. Структура научных революций. М.: ООО «Издательство АСТ», 2003, с. 13–269.

Альтшуллер Г.С. Найти идею. Новосибирск: Наука, 1986, с. 51–52.

Кун Т. Структура научных революций. М.: ООО «Издательство АСТ», 2003, с. 138.

Новиков Д.А., Чхартишвили А.Г. Рефлексивные игры. М.: СИНТЕГ, 2003, с. 61–62.

Щедровицкий Г.П. Принципы и общая схема методологической организации системно-структурных исследований и разработок // Системные исследования. М., 1981, с. 193–227.

Кун Т. Структура научных революций. М.: ООО «Издательство АСТ», 2003, с. 125.

Эйлоарт Т. Приемы настройки творческого инженерного коллектива. // Изобретатель и рационализатор. 1970. № 5.