Рассмотрены проявления эффекта rank reversal при исследовании эколого-экономических объектов. Данный феномен возникает в различных экспертных технологиях при добавлении новых факторов и меняет порядок расположения их в ранжированном ряду. Это приводит к изменению значимости факторов, их весовых коэффициентов и может, в свою очередь, повлиять на ранжирование альтернатив при использовании некоторых подходов и моделей. Обсуждается проблема возникновения нарушений в формальных логических конструкциях при использовании экспертных методов, для которой авторы находят вполне приемлемые с содержательной точки зрения объяснения. Показано, что одной из причин возникновения эффекта rank reversal при ранжировании объединенной группы факторов и альтернатив может стать появление «группового эксперта», вследствие которого в первоначальном порядке происходят существенные изменения. На конкретном примере – задаче обоснования выбора места расположения промышленного объекта с сопутствующей инфраструктурой в Арктической зоне РФ показано, как это может происходить. Дана рекомендация, какой порядок факторов, установившийся после добавления новых, следует принимать за окончательный.

эколого-экономические задачи, эффект rank reversal, размещение объектов в Арктической зоне Российской Федерации, ранжирование группы факторов и альтернатив, выбор места расположения промышленных объектов.

Статья подготовлена за счет средств целевой субсидии на выполнение государственного задания «Разработка и обоснование системы показателей для целей моделирования сбалансированного социально-экономического развития арктических территорий» № государственной регистрации АААА-А19-119020490098-1.

The manifestations of the rank reversal effect in the study of ecological and economic objects are considered. This phenomenon occurs in various expert technologies when new factors are added and changes the order of their arrangement in the ranked series. This leads to a change in the significance of factors, their weighting coefficients and may, in turn, affect the ranking of alternatives when using some approaches and models. The problem of the occurrence of violations in formal logical constructions when using expert methods is discussed, for which the authors find explanations that are quite acceptable from a meaningful point of view. It is shown that one of the reasons for the appearance of the rank reversal effect when ranking a combined group of factors and alternatives may be the appearance of a "group expert", as a result of which significant changes occur in the initial order. Using a concrete example - the task of justifying the choice of the location of an industrial facility with associated infrastructure in the Arctic zone of the Russian Federation, it is shown how this can happen. A recommendation is given which order of factors established after the addition of new ones should be taken as final.

environmental and economic problems, rank reversal effect, placement of facilities in the Arctic zone of the Russian Federation, ranking of a group of factors and alternatives, selection of the location of industrial facilities.

The article was prepared at the expense of targeted subsidies for the implementation of the state task "Development and substantiation of a system of indicators for the purpose of modeling balanced socio-economic development of the Arctic territories" State registration No. АААА-А19-119020490098-1.

Введение

Явление, получившее название rank reversal – дословно «изменение ранга», было установлено в 1983 году В. Белтоном и Т. Гиром [1]. Возникает оно в ходе добавления новых факторов при оценке объектов, когда они (новые факторы) меняют порядок приоритетов у предыдущих. В чем же его суть? Рассмотрим это на примере прямого ранжирования – популярного и вместе с тем достаточно эффективного метода экспертного оценивания, применяемого во многих задачах, где требуется сопоставление нескольких факторов или же альтернатив.

Пусть имеются три фактора a, b, c, влияющие на ситуацию. Эксперты оценивают степень их значимости, присваивая ранг 1 самому сильному фактору, следующему за ним по силе влияния – ранг 2 и т.д. Допустим, получен такой порядок: a, c, b. Далее условие меняется путем добавления ещё одного фактора d. Такая ситуация постоянно встречается в практике, когда появляется необходимость в дополнительной информации для более адекватной оценки объекта. При этом новый фактор может занять любое место в ранжированном ряду. Затем производится новое ранжирование, в результате которого получается, допустим, такая последовательность: c, a, d, b. Если сравнить эту последовательность с предыдущей, то в ней, кроме добавления фактора d, вклинившегося между факторами a и b, факторы a и c поменялись местами, хотя как бы не должны были: фактор d должен был занять свое место где-то в этом ряду, и не более того, а остальные остаться на своих местах, но это – лишь с точки зрения формальной логики.

Почему же так происходит? Главной причиной этому явлению, на наш взгляд, является наличие косвенных, или опосредованных связей между факторами. Под ними обычно понимают такие связи, когда влияние одного фактора на другой происходит не напрямую, а по некоторой цепочке. Такие свойства можно выявить, если удаётся построить причинно-следственные линии [2]. Но это далеко не всегда возможно из-за наличия латентных (скрытых) связей, которые не во всех случаях непосредственно выявляются [3]. Налицо нарушение транзитивности в цепочке вывода.

Причин нарушения транзитивности множество: от чисто математических, установленных специалистом по статистике Брэдли Эфроном [4], до логических, когда мы имеем дело с задачами многокритериального оценивания, а также психологических, обусловленными объективными и субъективными качествами экспертов. До конца они ещё не исследованы, и мы в рамках настоящей публикации рассмотрим только некоторые аспекты этого явления. Отметим лишь, что наиболее существенные нарушения транзитивности могут происходить при синтезировании группового экспертного мнения. Как показывает достаточно обширный опыт проведения как индивидуальных, так и коллективных экспертных опросов, имеющийся у авторов, даже в группах высококвалифицированных специалистов нарушения логических закономерностей, связанных с потерей транзитивности, достигали иногда 65% (имеется в виду согласованность в МАИ), что конечно же практически невозможно для индивидуальных экспертных суждений. Отчасти это объясняется проявлением целого ряда групповых эффектов (например, феномен “Groupthink”, описанный Ирвингом Джанисом) общесистемного характера (см., например, [5]).

Результаты исследования и обсуждение

Следует отметить, что сам метод оценивания взаимного влияния факторов здесь главенствующей роли не играет. Так, эффект rank reversal обнаружен и при применении для ранжирования в других экспертных технологиях, в частности, такого популярного метода, каким является метод анализа иерархий (МАИ), разработанный Томасом Саати [6], в котором все факторы попарно сравниваются друг с другом по специальной шкале. В нём изменение порядка расположения факторов также может быть связано с нарушением транзитивности, которое имеет место и при попарных сравнениях [7].

По оценкам [8] в МАИ этот эффект наблюдается с частотой в диапазоне от 11% до 80% случаев. При этом было установлено, что повышение степени согласованности матрицы парных сравнений, увеличивающей число транзитивных троек, не приводит к снижению частоты возникновения эффекта rank reversal.

Более явно этот эффект может проявляться, когда факторы, относящиеся к различным категориям, смешиваются в единую группу, например, экономические факторы с географо-экологическими. Такая ситуация возникает довольно часто при эколого-экономическом обосновании опасных для окружающей среды проектов в соответствии с российским и международным природоохранным законодательством.

Когда для ранжирования используются модели, содержащие две и более переменные, то это может привести к возникновению эффекта rank reversal и при анализе альтернатив. Именно так произошло при исследовании авторами процедур принятия стратегических решений в одной из задач проектирования транспортной инфраструктуры, где альтернативы оценивались по модели балльных классификаций с учетом их весовых коэффициентов [9].

Как это может происходить более явно, рассмотрим на примере для предполагаемого размещения промышленного предприятия (объекта) вместе с сопутствующей инфраструктурой. Отметим, что здесь мы намеренно упрощаем некоторые условия задачи, опуская ряд требований, но при этом оставляем ситуацию в целом близкой к реальной. Разместим объект в западной части Ненецкого автономного округа в районе посёлка Индига, расположенного в устьевой области одноименной реки, впадающей в юго-восточную часть Баренцева моря. Это место выбрано не случайно, так как оно давно привлекает внимание инвесторов как для размещения объектов транспортной инфраструктуры, так и некоторых предприятий по переработке углеводородов [10]. Сегодня потенциальная возможность такого проекта рассматривается как в плоскости промышленного, так и транспортно-логистического стратегирования [11]. Например, согласно официальным заявлениям в СМИ, сделанным еще в 2020 году губернаторами Архангельской области А.В. Цыбульским и Ненецкого автономного округа Ю.В. Бездудным, инвесторы из международной инвестиционной группы Корпорация AEON [12] уже вложили в строительство глубоководного незамерзающего порта Индига порядка 5 млн долларов, а общая сумма инвестиций может составить более 300 млрд рублей. Порт будет спроектирован и построен для совершения операций по перевалке грузов, в том числе химических продуктов, с общим объемом в несколько десятков млн тонн в год при выходе его на полную мощность [13].

Для размещения промышленного объекта и его сопутствующей инфраструктуры рассмотрим не только сам поселок и нижнее течение реки, но и прилегающие к нему территории и близлежащие акватории прибрежной части моря, что вызвано заметным разнообразием природных условий как на суше [14; 15], так и на море, включая устьевую область Индиги [16]. Принимая во внимание сложности проведения логистических операций в прибрежной зоне Арктики [17], определим три потенциально возможных варианта размещения объекта: А) сам посёлок Индига, Б) Чёшская губа (у восточного входа в губу между мысами Большой Румяничный и Малый Румяничный) и В) губа Горносталья (рис. 1).

Исходные условия для разработки и сопоставления альтернатив могут быть следующими. Требуется построить химический комплекс, сырье на который будет поступать с Тимано-Печорской нефтегазоносной провинции по наземному трубопроводу или морским путем, а продукция вывозиться танкерами на внешние рынки. С учетом современных тенденций промышленной кластеризации такой объект может представлять собой порт/терминал, хранилища, трубопроводы и непосредственно сам завод. Поскольку данная местность малонаселенная и нет возможности набрать необходимое количество рабочих и квалифицированных специалистов как для самого предприятия, так и для его обслуживания из числа местных жителей [18], то потребуется строительство вахтового поселка для приезжего персонала.

Рис. 1. Возможные места расположения промышленных объектов

(А – посёлок Индига; Б – Чёшская губа, В – губа Горносталья) и схемы доставки (вывоза) сырья (продукции)

Рассмотрим ключевые факторы влияния на выбор места размещения объекта, разделенные на две группы, в порядке их ранжирования (результат усредненный). Отметим, что набор этих факторов был сформирован группой экспертов, которая также затем участвовала и в последующих экспертных процедурах. Число факторов в этих группах не совпадает (часто встречающаяся в практике ситуация), поскольку невозможно, да и нецелесообразно формализовать объект таким образом, чтобы все группы факторов были равнозначными во всех отношениях.

Географо-экологические факторы:

1. Ликвидация аварийных ситуаций. Предприятия, выпускающие и транспортирующие химическую продукцию, относятся к опасным для окружающей среды. Уровень опасности определяется токсичностью и взрывоопасностью продукции и сырья, используемого для её изготовления. Наибольший ущерб возникает при аварийных ситуациях, ликвидация последствий которых требует существенных затрат.
2. Загрязнение водных объектов. При проектировании учитывается степень загрязненности природной среды. В случае высоких концентраций загрязняющих веществ в воде могут быть ужесточены нормативы допустимых сбросов технологических и бытовых вод в водные объекты.
3. Загрязнение атмосферного воздуха. Такие же требования относятся и к атмосферному воздуху, чтобы учесть их при разработке нормативов допустимых выбросов.
4. Ледовые условия. Лед оказывает серьезную нагрузку на суда и гидротехнические сооружения, особенно в сочетании с течениями, волнением и ветром. Акватория юго-восточной части Баренцева моря замерзает от 5 до 8 месяцев в году. При этом в прибрежной зоне на ледяной покров оказывают влияние местные условия, благодаря чему он обладает большой пространственной изменчивостью. Длительность же ледового сезона для всех вариантов примерно одинакова, поэтому и существенного значения для выбора этот фактор не имеет.
5. Течения. Течения оказывают наибольшее влияние на маневренность судов, особенно при швартовке танкеров у терминалов, и на распространение загрязненных вод.

Отметим, что вышеуказанные факторы отобраны с учетом условий, характерных для побережья и акваторий Арктической зоны РФ. Для других территорий набор географо-экологических факторов может быть, разумеется, совершенно иным.

Экономические факторы:

1. Стоимость объекта. Обычно это самый существенный фактор, влияющий на принятие решения о целесообразности намечаемой деятельности. В условиях Крайнего Севера стоимость строительства сильно увеличивается, иногда в несколько раз по отношению к типовым решениям, что может сделать весь проект нерентабельным.
2. Вахтовый поселок. Для проживания нескольких сотен человек требуется создание соответствующих условий [19], для чего, помимо жилья, необходимо строительство хотя бы минимального набора объектов коммунальной и социальной инфраструктуры, а это тоже немалые затраты.
3. Доставка сырья. Если источники сырья находятся на удалении от предприятия, как в данном случае, то потребуется строительство магистральных трубопроводов или наличие специальных судов, а иногда и то, и другое.
4. Вывоз продукции. При определенной степени удаленности рынков сбыта от мест производства готовой продукции требуются устойчивые и надежные каналы коммуникации для доставки продукции либо до конечного потребителя, либо до ближайшего логистического узла. Выбор той или иной транспортно-логистической схемы будет, как и в предыдущем случае, сопровождаться необходимостью приобретения либо фрахта морских судов, а также строительства новых трубопроводов.

В группе экономических факторов позиции 1 и 2 непосредственно связаны с необходимостью капитальных вложений в объекты строительства и инфраструктуры, оценка которых является неотъемлемой частью любого инвестиционного проекта. Не погружаясь в рамках данной статьи в тематику строительных инвестиций, отметим только, что существенное влияние на стоимостные показатели здесь оказывает целый набор факторов как экономического (цены на строительные материалы и топливо, транспортные тарифы, налоговые режимы и преференции, инвестиционные и имущественные льготы, положение в соответствующем секторе рынка труда и т.д.), так и геополитического характера (санкции, необходимость выполнения условий международных соглашений, конвенций).

Следующие два экономических фактора формируются в рамках транспортных потоков, непосредственно связанных с доставкой сырья и вывозом готовой продукции на внешние рынки. Однако, они в свою очередь сами зависят от таких важнейших характеристик транспортно-логистической системы, как пропускная способность коммуникаций, объемы погрузочно-разгрузочных работ, временные параметры логистических операций (включая неизбежное время простоя транспортных средств и иных мощностей), потоки порожнего транспорта (проблема порожнего транспорта при перевозках специализированных грузов «в один конец» (например, танкерами), крайне актуальна для Арктики), терминальные и складские мощности и т.д.

Теперь введем в рассмотрение ещё один фактор – высокая экологичность продукции. Отметим, что этот фактор не попал в список ключевых при первоначальном отборе, а был введен после дополнительного анализа информации и соответствующего обсуждения.  По своей сути он является одновременно и экологическим, и экономическим, что делает целесообразным объединение двух вышеуказанных групп в одну с одновременным включением в нее дополнительного фактора и проведение нового ранжирования, уже для десяти факторов (5 + 4 + 1). Несмотря на то, что новый фактор имеет признаки принадлежности как к географо-экологической, так и к экономической группам, все же его первоначальная природа – существующая угроза закрытия рынков сбыта продукции в связи с нарушением сертификационных требований, имеет больше экономический, чем экологический подтекст. Результаты внутригруппового ранжирования до и после введения в рассмотрение фактора «высокая экологичность продукции» оказались следующими (табл. 1).

Таблица 1. Результаты внутригруппового ранжирования факторов

Из-за введения нового фактора в первой группе (несмотря на то, что данный фактор в нее не попал), по отношению к предыдущему порядку (1, 2, 3, 4, 5), новое ранжирование (1, 4, 5, 2, 3) уже имеет четыре инверсии (в упорядоченном наборе чисел (a₁,a₂,…,a_n) пара (a_i,a_j) называется инверсией, если i<j, а a_i>a_j), что можно считать существенным изменением прежнего порядка.

Во второй группе прежний порядок четырех «старых» факторов ординально (ординальность подразумевает сохранение порядка следования объектов) не поменялся, но при новом ранжировании второе место досталось вновь введенному фактору «высокая экологичность продукции», который вклинился между факторами «стоимость объекта» и «вахтовый поселок».

Такие перемещения влияют на значения весовых коэффициентов факторов, величины которых будут несколько различаться в зависимости от метода расчета, но порядок их, как правило, остается одним и тем же.

Выполненное экспертным путем ранжирование вновь образованной группы факторов, включающей в себя девять «старых» географо-экологических и экономических факторов и новый фактор «высокая экологичность продукции», приведено в первом столбце таблицы 2. Весовые коэффициенты w_i, представленные в третьем столбце таблицы 2, рассчитывались с учетом общего ранжирования по формуле

где i – ранг фактора; n – общее число факторов.

Ранжирование альтернатив. Теперь проведем ранжирование альтернатив выбора мест размещения объекта. Сделаем это двумя методами: прямым экспертным ранжированием и с использованием модели балльных классификаций, которая часто применяется для решения эколого-экономических задач [20].

В первом случае экспертам предлагается расставить альтернативы по степени их наилучшего соответствия цели ранжирования. При этом отметим, что сама процедура целеполагания во многом зависит от восприятия экспертами проблемы выбора в целом [21].

Модель балльных классификаций также может быть экспертной, а ее расчётная формула имеет вид

где m – число альтернатив; I_j – интегральный показатель j—той альтернативы в баллах; w_i – весовые коэффициенты факторов (n – количество факторов); p_i – балльные оценки факторов.

Балльные оценки p_i получены экспертным путем по пятибалльной шкале по принципу «чем хуже ситуация, тем выше балл». Информацией для такой оценки послужили библиографические источники [14; 15; 22; 23; 24; 25] и результаты, полученные в ходе моделирования некоторых геоэкологических характеристик территории, прилегающей непосредственно к морскому побережью [26].

В ходе ранжирования первым методом, при котором эксперты, как было отмечено выше, расставляли альтернативы по степени их наилучшего соответствия цели ранжирования (с последующим усреднением результатов), на первом месте оказалась «Губа Горносталья», на втором – «Поселок Индига», на третьем – «Чёшская губа». Здесь важно отметить следующее. При прямом ранжировании (процедура проходит в один этап, без прямого взаимодействия между экспертами) эксперты сразу рассматривают набор альтернатив, опираясь на свои компетенции, опыт и интуицию, а затем результаты их оценок лишь подлежат усреднению. В этом случае при осуществлении выбора эксперты не будут (да и не могут) руководствоваться теми факторами, которые они изначально индивидуально сами не обозначили как ключевые, а возникшими лишь в ходе групповой работы. Другими словами, вновь появившиеся в ходе группового взаимодействия факторы – это плод некоего «группового эксперта», который де-факто не участвовал в процедуре прямого экспертного ранжирования, при которой, напомним, без дополнительных обсуждений лишь усреднялись индивидуальные оценки.

Расчеты, сопровождающие процедуру ранжирования альтернатив по модели балльных классификаций (для экспертов процедура состоит из двух этапов: общего ранжирования новой группы факторов и выставления балльных оценок), приведены таблице 2. В столбцах 4-6 выставлены балльные оценки альтернатив по соответствующим факторам, а также (в скобках) значения этих оценок, умноженные на весовые коэффициенты факторов из столбца 3. Отметим, что использование весовых коэффициентов факторов позволяет получить более точные оценки альтернатив.

Таблица 2. Ранжирование альтернатив при помощи балльных оценок

Средневзвешенные по факторам балльные оценки составили для варианта «Чёшская губа» — 3,872; «Губа Горносталья» — 3,144 и «Поселок Индига» — 2,383. По принципу «чем хуже ситуация, тем выше балл», на первом месте оказался вариант «Поселок Индига», на втором – «Губа Горносталья» и на третьем – «Чёшская губа». Отметим, что по сравнению с предыдущим ранжированием местами поменялись две альтернативы – «Губа Горносталья»  и «Поселок Индига» , а «Чёшская губа» так и осталась на третьем месте.

Таким образом, в нашем примере налицо проявление эффекта rank reversal применительно к ранжированию альтернатив. Можно сделать вывод, что изменение рангов факторов, влекущее за собой соответствующие изменения их весовых коэффициентов, вполне может привести и к изменению рангов альтернатив. Приведенный пример наглядно показывает, как эффект rank reversal может повлиять на принятие стратегических решений, связанных с размещением объектов и инфраструктуры, районирования территорий и акваторий, а также в целом ряде других эколого-экономических задач, где используются экспертные технологии [27; 28].

Заключение

В условиях реально существующей эколого-экономической ситуации на одной из арктических территорий России рассмотрен пример проявления эффекта rank reversal в задаче потенциального выбора места для размещения промышленного объекта с сопутствующей инфраструктурой. Показано, что в эколого-экономических задачах и моделях это явление является естественным и вытекает из самой сути экспертных технологий ранжирования факторов и альтернатив. В частности, в качестве одной из причин указывается психолого-управленческий феномен, связанный с появлением «группового эксперта».

Остается вопрос: как поступать, если этот эффект имеет место при усложнении задачи? По нашему мнению, в случае проявления rank reversal не нужно пересматривать предыдущие результаты, а принимать для дальнейших расчетов или заключений последний результат как окончательный, основанный на большем объеме информации, конечно, при соблюдении ряда ограничений и условий, накладываемых на нее.

Список литературы

1. Belton, V., Gear, T. On Short-Coming of Saaty’s Method of Analytic Hierarchies // Omega, Elsevier. 1983. Vol. 11 (3). PP. 228-230.
2. Рассел, Б. Человеческое познание: Его сфера и границы. – Киев: Ника-Центр, 2001. – 560 с.
3. Borsboom, D., Mellenbergh, G. J., van Heerden, J. The theoretical status of latent variables // Psychological Review. № 110 (2). PP. 203–219. https://doi.org/10.1037/0033-295X.110.2.203
4. Паулос, Д.А. Математическое невежество и его последствия. – М.: Издательство Студия Артемия Лебедева, 2021. – 208 с.
5. Janis, L. Victims of Groupthink: a Psychological Study of Foreign-Policy Decisions and Fiascoes. Boston: Houghton Mifflin. 1972. – 146 p. ISBN 0-395-14002-1
6. Саати, Т. Принятие решений. Метод анализа иерархий. – М.: «Радио и связь», 1993. – 278 с.
7. Тутыгин, А.Г., Коробов, В.Б., Меньшикова, Т.В. Проблемы согласованности экспертных суждений в методе анализа иерархий // Вестник гражданских инженеров. 2019. № 5. с. 291-297. DOI 10.23968/1999-5571-2019-16-5-291-297.
8. Картвелишвили, В.М., Лебедюк, Э.А. Метод анализа иерархий: критерии и практика // Вестник Российского экономического университета им. Г.В. Плеханова. 2013. № 6 (60). С. 97–112.
9. Коробов, В.Б., Тутыгин, А.Г., Чижова, Л.А. Последовательность принятия стратегических решений в задачах проектирования транспортной инфраструктуры в Арктике // Проблемы региональной экологии. 2018. № 5. с. 70-77.
10. Пинхенсон, Д.М. Проблема северного морского пути в эпоху капитализма. – Л.: «Морской транспорт», 1962, 766 с.
11. Стратегия развития железнодорожного транспорта в Российской Федерации до 2030 года. – Утверждена Распоряжением Правительства РФ от 17 июля 2008 г. № 877-р.
12. Ввод в эксплуатацию порта Индига в НАО намечен на 2028 год. Режим доступа: http://www.aeoncorp.ru/news/vvod-v-ekspluatatsiyu-porta-indiga-v-nao-namechen-na-2028-god (дата обращения: 28.09.2021).
13. Первые инвестиции в будущий порт Индига в НАО составили более $5 млн. Режим доступа: https://tass.ru/ekonomika/8503531 (дата обращения: 28.09.2021).
14. Исаченко ,А.Г., Шляпников, А.А. Ландшафты. – М.: «Мысль», 1989, 504 с.
15. Каплин, П.А., Леонтьев, О.К., Лукьянова, С.А., Никифоров, Л.Г. Берега. – М.: «Мысль», 1991, 479 с.
16. Лоция Баренцева моря. Часть II. – СПб.: ГУНиО МО РФ, 1995, 462 с.
17. Антипов, Е.О., Тутыгин, А.Г., Коробов, В.Б. Проблемы осуществления транспортировки грузов в Арктической зоне Российской Федерации морским путём // Управленческое консультирование. 2017. № 11. с. 72-79.
18. Тутыгин, А.Г., Коробов, В.Б., Чижова, Л.А., Малинина, К.О. Бизнес-сообщество Русского Севера: модели поведения: монография / Ростов н/Д: Легион-М, 2018. – 244 с.
19. Чижова, Л.А., Губайдуллин, М.Г. Обоснование выбора HR-стратегии при размещении объектов транспортно-технологической системы нефтяных месторождений российской Арктики // Арктика и Север. 2021. № 44. С. 64–78. DOI: 10.37482/issn2221-2698.2021.44.64.
20. Коробов, В.Б., Тутыгин, А.Г. Классификационные методы решения эколого-экономических задач. Монография / Поморский гос. университет, Архангельск, 2010. — 310 с.
21. Тутыгин, А.Г., Чижова, Л.А., Коробов, В.Б. Неопределенность в оценках влияющих факторов различными категориями лиц, принимающих решения // Экономика и управление: научно-практический журнал. 2020. № 2 (152). С. 84-89. DOI: 10.34773/EU.2020.2.18   
22. Гидрометеорология и гидрохимия морей СССР. Том 1. Баренцево море. Выпуск 1, Гидрометеорологические условия. – Л.: Гидрометеоиздат, 1990.
23. Гидрометеорология и гидрохимия морей СССР. Том 1. Баренцево море. Выпуск 2. Гидрохимические условия и океанологические основы формирования биологической продуктивности. – Л.: Гидрометеоиздат, 1990.
24. Моря российской Арктики в современных климатических
    условиях: Коллективная монография / [Под ред. И.М. Ашика]. – СПб: ААНИИ, 2021. 360 с., ISBN 978-5-98364-104-4.
25. Кочемасов, Ю.В., Кочемасова, Е.Ю., Седова, Н.Б., Кочуров, Б.И. Проблемы природопользования в Арктике: анализ и решение / М.: Инфра-М, 2021, — 151 с.
26. Лохов А. С.Районирование территории Ненецкого автономного округа по степени воздействия потенциального разлива нефти на природную среду // Естественные и технические науки. 2020. №8 (146). с. 116-122.
27. Коробов, В.Б., Кочуров, Б.И., Тутыгин, А.Г. Методология районирования сложных географо-экологических объектов экспертно-статистическими методами // Проблемы региональной экологии. 2020. № 5. с. 42-48.
28. Сидельников, Ю.В. Технология создания новаций: теоретические и прикладные аспекты / М.: Институт проблем управления им. В.А. Трапезникова РАН, 2021, — 245 с.

References:

1. Belton ,V., Gear, T. On Short-Coming of Saaty’s Method of Analytic Hierarchies // Omega, Elsevier. 1983. Vol. 11 (3). PP. 228-230.
2. Russell, B. Human cognition: Its scope and boundaries [Chelovecheskoye poznaniye: Ego sfera i granitsy]. — Kiev: Nika-Center, 2001–560 p.
3. Borsboom, D., Mellenbergh, G. J., van Heerden, J. The theoretical status of latent variables // Psychological Review, 2003, № 110 (2), PP. 203–219. https://doi.org/10.1037/0033-295X.110.2.203
4. Paulos,A. Mathematical ignorance and its consequences [Matematicheskoye nevezhestvo i ego posledstviya]. — Moscow: Artemy Lebedev Studio Publishing House, 2021. — 208 p.
5. Janis, L. Victims of Groupthink: a Psychological Study of Foreign-Policy Decisions and Fiascoes. Boston: Houghton Mifflin. 1972. – 146 p. ISBN 0-395-14002-1
6. Saati , Decision-making. Method of hierarchy analysis. — M.: «Radio and communication», 1993. — 278 p.
7. Tutygin ,G., Korobov, V.B., Menshikova, T.V. Problems of consistency of expert judgments in the method of hierarchy analysis [Problemy soglasovannosti ekspertnykh suzhdeniy v metode analiza iyerarkhiy] // Bulletin of Civil Engineers. 2019. No. 5. pp. 291-297. DOI 10.23968/1999-5571-2019-16-5-291-297.
8. Kartvelishvili,M., Lebedyuk, E.A. Method of hierarchy analysis: criteria and practice [Metod analiza iyerarkhiy: kriterii i praktika] // Bulletin of the Plekhanov Russian University of Economics. 2013. No. 6 (60). pp. 97-112.
9. Korobov,B., Tutygin, A.G., Chizhova, L.A. The sequence of strategic decision-making in the tasks of designing transport infrastructure in the Arctic [Posledovatelnost prinyatiya strategicheskikh resheniy v zadachakh proyektirovaniya transportnoy infrastruktury v Arktike] // Problems of regional ecology. 2018. No. 5. PP. 70-77.
10. Pinkhenson,M. The problem of the Northern sea route in the era of capitalism [Problema severnogo morskogo puti v epokhu kapitalizma]. — L.: «Sea transport», 1962. — 766 p.
11. Strategy for the development of railway transport in the Russian Federation until 2030 [Strategiya razvitiya zheleznodorozhnogo transporta v Rossiyskoy Federatsii do 2030 goda] — Approved by the Decree of the Government of the Russian Federation No. 877-r dated July 17, 2008.
12. The commissioning of the Indiga port in the NAO is scheduled for 2028 [Vvod v ekspluataciyu porta Indiga v NAO namechen na 2028 god]. Access mode: http://www.aeoncorp.ru/news/vvod-v-ekspluatatsiyu-porta-indiga-v-nao-namechen-na-2028-god (accessed: 09/28/2021).
13. The first investments in the future Indiga port in the NAO amounted to more than $5 million [Pervye investicii v budushchij port Indiga v NAO sostavili bolee $5 mln.]. Access mode: https://tass.ru/ekonomika/8503531 (accessed: 09/28/2021).
14. Isachenko,G., Shlyapnikov, A.A. Landscapes [Landshafty] — M.: «Thought», 1989. — 504 p.
15. Kaplin,A., Leontiev, O.K., Lukyanova, S.A., Nikiforov, L.G. Shores [Berega]. — M.: «Thought», 1991, 479 p.
16. The Barents Sea lot. [Lotsiya Barentseva moray]. Part II. — St. Petersburg: GUNiO MO RF, 1995, 462 p.
17. Antipov,O., Tutygin, A.G., Korobov, V.B. Problems of cargo transportation in the Arctic zone of the Russian Federation by sea [Problemy osushchestvleniya transportirovki gruzov v Arkticheskoj zone Rossijskoj Federacii morskim putyom]. // Managerial consulting. 2017. No. 11. PP. 72-79.
18. Tutygin, A.G., Korobov, V.B., Chizhova, L.A., Malinina, K.O. Business community of the Russian North: models of behavior: monograph [Biznes-soobshchestvo Russkogo Severa: modeli povedeniya: monografiya]. / Rostov n/A: Legion-M, 2018. — 244 p.
19. Chizhova, L.A., Gubaidullin, M.G. Justification of the choice of HR strategy when placing objects of the transport and technological system of oil fields of the Russian Arctic [Obosnovanie vybora HR-strategii pri razmeshchenii ob»ektov transportno-tekhnologicheskoj sistemy neftyanyh mestorozhdenij rossijskoj Arktiki] // Arctic and North. 2021. No. 44. pp. 64-78. DOI: 10.37482/issn2221-2698.2021.44.64.
20. Korobov,B., Tutygin, A.G. Classification methods for solving ecological and economic problems. Monograph [Klassifikacionnye metody resheniya ekologo-ekonomicheskih zadach. Monografiya] / Pomeranian State . University, Arkhangelsk, 2010. — 310 p.
21. Tutygin,G., Chizhova, L.A., Korobov, V.B. Uncertainty in the assessments of influencing factors by various categories of decision makers [Neopredelennost’ v ocenkah vliyayushchih faktorov razlichnymi kategoriyami lic, prinimayushchih resheniya]. // Economics and Management: a scientific and practical journal. 2020. No. 2 (152). pp. 84-89. DOI: 10.34773/EU.2020.2.18
22. Hydrometeorology and hydrochemistry of the seas of the USSR. Volume 1. The Barents Sea. Issue 1, Hydrometeorological conditions [Gidrometeorologiya i gidrohimiya morej SSSR. Tom 1. Barencevo more. Vypusk 1, Gidrometeorologicheskie usloviya]. — L.: Hydrometeoizdat, 1990.
23. Hydrometeorology and hydrochemistry of the seas of the USSR. Volume 1. The Barents Sea. Issue 2. Hydrochemical conditions and oceanological foundations of the formation of biological productivity [Gidrometeorologiya i gidrohimiya morej SSSR. Tom 1. Barencevo more. Vypusk 2. Gidrohimicheskie usloviya i okeanologicheskie osnovy formirovaniya biologicheskoj produktivnosti]. — L.: Hydrometeoizdat, 1990.
24. The seas of the Russian Arctic in modern climatic conditions: A collective monograph [Morya rossijskoj Arktiki v sovremennyh klimaticheskih usloviyah: Kollektivnaya monografiya] / [Edited by I.M. Ashik]. — St. Petersburg: AANI, 2021. — 360 p., ISBN 978-5-98364-104-4.
25. Kochemasov, Yu.V., Kochemasova, E.Yu., Sedova, N.B., Kochurov, B.I. Problems of nature management in the Arctic: analysis and solution / M.: Infra-M, 2021. — 151 p.
26. Lokhov, A. S. Zoning of the territory of the Nenets Autonomous Okrug according to the degree of impact of a potential oil spill on the natural environment [Rajonirovanie territorii Neneckogo avtonomnogo okruga po stepeni vozdejstviya potencial’nogo razliva nefti na prirodnuyu sredu]. // Natural and Technical Sciences. 2020. No.8 (146). pp. 116-122.
27. Korobov, V.B., Kochurov, B.I., Tutygin, A.G. Methodology of zoning of complex geographical and ecological objects by expert statistical methods [Metodologiya rajonirovaniya slozhnyh geografo-ekologicheskih ob»ektov ekspertno-statisticheskimi metodami]. // Problems of regional ecology. 2020. No. 5. PP. 42-48.
28. Sidelnikov, Yu.V. Technology of creating innovations: theoretical and applied aspects [Tekhnologiya sozdaniya novacij: teoreticheskie i prikladnye aspekty]. / M.: V.A. Trapeznikov Institute of Management Problems of the Russian Academy of Sciences, 2021. — 245 p.