Академические успехи российских университетов экономического профиля
В последние годы российские экономические школы все активнее конкурируют на рынке высшего образования. Можно ли оценить результативность исследовательской деятельности российских вузов на основе их публикаций в ведущих экономических изданиях страны? Как выглядит такой рейтинг за 2010-2012 гг.?
1. Рейтинг экономических университетов: постановка проблемы
В последние годы в России происходит своего рода передел рынка высшего образования. Многие вузы попали в круговорот слияний и поглощений, некоторые получают особый статус (университеты, академии, институты, а также федеральные и исследовательские университеты и т.п.), а некоторые фактически уходят с рынка1. Тем самым конкуренция между университетами обострилась практически по всем направлениям. Более того, в последнее время обозначилось новое направление конкуренции – борьба вузов определенного профиля за место лидера. Наиболее явственно эта тенденция проявляется для вузов экономического и управленческого профиля. Разумеется, в процесс конкуренции вступают все вузы, имеющие в своем арсенале соответствующие научные направления. Далее мы будем рассматривать все институты, которые ведут подготовку по экономическим дисциплинам и осуществляют исследовательскую деятельность в области экономической науки.
Следует признать, что оценка качества вузов по отдельным научным направлениям на сегодняшний день является самой конструктивной и перспективной по сравнению с общей оценкой качества университетов. Здесь, как правило, гораздо меньше «давление массой» вуза, которое дезориентирует относительно истинных успехов университета. Формальным отражением данного вида конкуренции являются рейтинги университетов по соответствующему профилю обучения2. Такая работа активно ведется за рубежом [3]; имеет она свои аналоги и в России [4]. Однако здесь наметилось две проблемы.
Во-первых, зарубежные методики рейтингования вузов и их факультетов никак не коррелируют с аналогичными российскими методиками. Подобные идеологические и методологические нестыковки создают известные трудности и не позволяют согласовать российскую и западную системы высшего образования.
Во-вторых, российские системы рейтингования вузовских факультетов чрезвычайно разнородны, что не позволяет остановиться на определенной методике, дающей сколько-нибудь определенные результаты. Некоторые методики рейтингования вообще применимы только для конкретных специальностей (например, рейтинг управленческого образования [4]); возможность эффективного тиражирования таких методик на другие научные направления отсутствует.
Анализ показывает, что западную систему ранжирования вузов по специальностям, основанную на учете академических успехов университетских коллективов, не следует игнорировать, так как она является, по-видимому, наиболее адекватной и объективной при оценке качества подготовки специалистов в том или ином вузе. К настоящему моменту в России отсутствует опыт подобной оценки вузов и их факультетов. В настоящей статье предпринята попытка адаптировать западный опыт рейтингования к российской системе высшего образования.
2. Идеология рейтинга университетов экономического профиля (РУЭП)
Основная идея западных рейтингов университетских факультетов состоит в том, чтобы определить активность публикаций вуза в той или иной области в ведущих научных журналах. При этом число учитываемых журналов строго ограничено, хотя вариация может быть значительной – от всего лишь 4 до 36 журналов [3]. Университетам начисляются баллы за статьи, публикуемые их сотрудниками на страницах отобранных журналов.
На первый взгляд, такая методология представляется чрезмерно простой и не слишком объективной. Тем не менее, в ней заложена вполне разумная логика, основанная на следующих постулатах.
Во-первых, качество образования в университете напрямую зависит от уровня и активности исследовательской деятельности, проводимой сотрудниками вуза. Иными словами, качество образования определяется академическими успехами вуза.
Во-вторых, академические успехи вуза детерминируются тем, насколько велико его влияние на академическое сообщество, что в свою очередь определяется масштабом его присутствия в научном информационном пространстве, т.е. на страницах академических журналов.
В-третьих, информационное пространство может быть эффективно представлено своим информационным ядром, включающим строго ограниченное число ведущих научных журналов. Расширение информационного ядра за счет включения в него максимально большого числа профессиональных изданий представляется бессмысленным, так как в этом случае само пространство «размывается» и ухудшает свои индикативные свойства. Смысл формирования информационного ядра состоит в том, чтобы отобрать пул элитных научных изданий, выступающих в качестве авангарда изучаемой дисциплины и задающих основные научные тренды, и отбросить те журналы, которые представляют научную периферию и публикуют статьи не самого высокого качества. Считается, что именно академическое ядро несет информацию об истинных возможностях университетов, тогда как периферийная зона журналов генерирует своеобразный шум, который лишь затуманивает истинное положение дел и перегружает аналитические алгоритмы рейтингования вузов. Надо сказать, что некоторые ренкеры отступают от этого принципа и используют обширные базы данных. Так поступает, в частности, британский разработчик университетских рейтингов QS (Quacquarelli Symonds), который для оценки среднего цитирования на одну статью университетского факультета использует библиометрические процедуры учета цитирований в базе «Scopus» [3]. Однако рейтинги, разрабатываемые университетами, базируются на рассмотренном принципе «ядро-периферия» (далее ЯП-принцип).
На наш взгляд, построение РУЭП, т.е. рейтинга российских вузов, занимающихся подготовкой специалистов по экономическим специальностям, должно базироваться именно на ЯП-принципе. Показатель публикуемости сотрудников вузов на страницах наиболее авторитетных журналов является наименее фальсифицируемым. Более того, отсутствие опыта построения в России подобного рода рейтингов означает отсутствие интереса университетов к лежащим в его основе показателям. Данный факт позволяет надеяться, что даже после публикации такого рейтинга в течение некоторого времени закон Гудхарта не будет действовать и, следовательно, индикативные свойства рейтинга будут оставаться довольно высокими.
3. Алгоритм построения российского РУЭП
В основе предлагаемого рейтинга лежит показатель zij, который представляет собой сумму баллов, набранных i-ым университетом в j-ом журнале. Тогда скоринговый (рейтинговый) балл каждого университета в каждом журнале вычисляется по формуле:
Забегая вперед, отметим, что необходимость процедуры взвешивания (2) обусловлена тем обстоятельством, что российские журналы предоставляют вузам страны информационную площадку, зачастую несопоставимую по размеру.
В отношении первичного показателя zij имеется несколько правил, которые используются для устранения возможных статистических коллизий.
Первое правило состоит в том, что при наличии в статье нескольких (N) соавторов, работающих в разных организациях, вузу, в котором работает один из соавторов, присваивается балл, равный zij=1/N. Если, например, в статье имеется три соавтора, один из которых работает в академическом институте, а двое других – в одном и том же вузе, то этот вуз получает балл, равный 2/3.
Второе правило состоит в том, что число организаций, которые представляет тот или иной автор, не имеет значения. Например, если статья написана одним автором, который работает в трех организациях, одна из которых является неким вузом, то этот вуз получает балл, равный единице; если этот автор работает одновременно в трех вузах, то каждый вуз получает балл, равный единице. В основе данного принципа лежит представление о том, что если университет хоть как-то связан с автором статьи, то он участвовал в создании этой статьи в той доле, которая принадлежит рассматриваемому автору статьи (в случае наличия соавторов). Второе правило приводит к тому, что совокупный балл, набранный всеми университетами, оказывается немного больше числа всех опубликованных статей. Однако это смещение на практике, как правило, невелико и не ведет к искажению итоговых рейтинговых оценок.
Согласно третьему правилу, основные статьи журнала получают один балл, а дополнительные материалы – полбалла. Подобный алгоритм определяется тем обстоятельством, что многие российские журналы имеют такие рубрики, как «Горячая тема», «Письма в редакцию», «Обсуждение книг», «Круглый стол» и т.п. Статьи в таких рубриках не могут игнорироваться, но их котировка должна быть ниже полноценных исследовательских статей.
Одна из особенностей предлагаемого алгоритма состоит в том, что выборка изучаемых университетов задается не экзогенно, а эндогенно. Иными словами, набор рейтингуемых вузов заранее не известен, а формируется в процессе сбора исходной информации (zij). В выборку попадают лишь те университеты, чьи сотрудники публикуются в изучаемых журналах. Некоторые из вузов сформированной выборки могут присутствовать лишь в нескольких журналах и отсутствовать в других. Это означает, что подобные вузы будут иметь нулевой рейтинг в журналах, в которых они не представлены, и это будет учитываться при реализации процедуры взвешивания (2). Университеты страны, не размещавшие свои статьи в изучаемых журналах и не попавшие в окончательную академическую выборку вузов, выпадают из количественного анализа. Фактически все они объединяются в однородную группу университетов-аутсайдеров с нулевым рейтингом.
4. Институциональные проблемы построения РУЭП
Несмотря на свою крайнюю простоту, предлагаемый рейтинг вузов построить не так просто по чисто институциональным причинам. Дело в том, что рейтинг университетов в каком-то смысле является вторичным, так как базируется на данных ведущих научных журналов, которые сами отбираются на основе другого рейтинга – рейтинга журналов. В развитых странах ведущие журналы отбираются двумя способами. Первый – на основе опросов экспертов, которые прекрасно знают лучшие журналы в своей области и между ними, как правило, не возникает больших разногласий. Второй – на основе импакт-фактора, с помощью которого автоматически отбираются самые читаемые и цитируемые издания. В России ни тот, ни другой способ не используется. В основе такого положения дел несколько причин.
Во-первых, российские журналы имеют относительно короткую историю. Если такие американские журналы, как «American Economic Review» и «Journal of Political Economy» насчитывают соответственно около 120 и 130 лет, то в России история большей части серьезных журналов насчитывает полтора-два десятилетия. Некоторые наиболее старые и в прошлом авторитетные журналы либо закрылись, либо сильно ослабли, что не позволяет научному сообществу воспринимать их в качестве авангарда российской экономической мысли. Молодые журналы тем более не могут претендовать на роль ведущих изданий из-за своей короткой жизни и непонятного будущего. Все это приводит к отсутствию согласия среди экономистов в отношении качества существующих журналов.
Во-вторых, нынешняя российская система электронного учета научных изданий является не просто «молодой», но во многом еще не до конца сформированной и недоработанной. Так, библиографическая база данных научных публикаций российских ученых – Российский индекс научного цитирования (РИНЦ) – была внедрена лишь в 2005 году [5]. За это время еще не успела сформироваться даже сама база журналов, не говоря уже об объективных значениях их импакт-факторов. Даже по сравнению с некоторыми бывшими социалистическими странами Россия сильно отстает в деле учета научных изданий. Например, Китай уже в 1987 г. запустил Китайский индекс научного цитирования («Chinese Science Citation Index»), а в 1988 г. – еще одну его модификацию («China Scientific and Technical Papers and Citations»); в 1997 г. разработан китайский индекс цитирования по общественным наукам («Chinese Social Sciences Citation Index»).
В-третьих, среди российских экономических журналов до сих пор не действует профессиональный регламент, гарантирующий высокое качество публикуемых материалов. Например, функции по фильтрации журналов возложены на Высшую аттестационную комиссию (ВАК) Министерства образования и науки РФ. Однако можно смело утверждать, что этот фильтр не работает. Так, на 25.05.2012 Перечень ведущих периодических изданий ВАК включал 2269 изданий, из которых к экономическим журналам относится около 300 [6]. Отобрать среди них по-настоящему передовые издания довольно проблематично. Более того, несмотря на наличие формального требования ВАК о наличии в изданиях библиографического списка в конце статьи и процедуры рецензирования, на практике эти требования нарушаются. Статьи во многих ведущих экономических журналах до сих пор не имеют стандартной библиографии, и ссылки на литературу даются в подстрочнике – как в публицистических изданиях. Как правило, нарушается и очевидное требование полного обзора проблемы по теме – многие библиографии имеют по 4-6 позиций, которые совершенно не отражают существующие наработки по заявленной теме. Что касается института рецензирования, то он в России практически полностью отсутствует, хотя официально он почти всеми журналами провозглашается. Если даже рецензирование и ведется, то, как правило, с нарушением стандартных процедур – вместо двойного анонимного рецензирования, когда автор не знает своего рефери, а рефери – не знает автора, практикуется открытие фамилий участников данного процесса. Все это подрывает доверие исследователей к существующим экономическим журналам.
В-четвертых, авторитет практически всех российских экономических журналов катастрофически снижается из-за конкуренции со стороны иностранных англоязычных изданий. Отсутствие ясности в статусе российских экономических журналов и пропаганда правительством страны задачи по интеграции отечественной науки в мировую привело к тому, что многие исследователи переориентируются на западные издания. Фактически все передовые работы в сфере экономики публикуются в западных журналах, минуя российские издания. Это еще больше дезориентирует специалистов в отношении российских журналов и качества размещаемых на их страницах статей. Данная ситуация усугубляется тем обстоятельством, что до сих пор лишь 2-3 российских экономических журнала переводится на английский язык. Однако, как показывает опыт, даже переводные российские журналы не пользуются спросом за рубежом; отсутствие интереса со стороны иностранных экономистов к переводным статьям проявляется в их низком цитировании.
Таким образом, выбор пула ведущих экономических журналов России представляет собой самостоятельную и в целом нетривиальную задачу. На наш взгляд, этот выбор должен осуществляться самим ренкером экспертным путем с широким обсуждением со специалистами.
5. Информационные особенности российского РУЭП
При отборе журналов, подлежащих мониторингу, нами использовались исключительно российские издания. Такой подход не является бесспорным. Однако наша аргументация в его пользу такова. Сегодня деятельность всех университетов оценивается на трех уровнях – региональном, национальном и международном [7]. При этом между всеми тремя уровнями имеются серьезные противоречия. Например, вуз, соответствующий самым высоким международным стандартам, может совершенно не участвовать в региональной экономике того штата или субъекта федерации, в котором он расположен. Такие университеты повсеместно вызывают нарекания. Как правило, ведущие вузы проходят вполне естественный путь от учреждения регионального значения к структуре, занимающей видное место в национальной системе высшего образования. И лишь после этого они начинают борьбу на международном рынке. РУЭП позволяет определить место вуза именно в российской университетской системе. Вузы, перепрыгнувшие эту стадию развития, то есть те, которые вышли на мировой уровень исследований при отсутствии видимого влияния на российскую экономическую мысль, в нашем рейтинге получают заведомо низкий балл.
Процедура отбора отечественных экономических журналов предусматривает ряд особенностей российского научного пространства.
Во-первых, все выбранные издания должны быть «на слуху», т.е. достаточно известными и популярными.
Во-вторых, издание не должно быть слишком специальным. Например, журнал «Прикладная эконометрика», будучи вполне подходящим для рейтинга по качеству публикуемых материалов, затрагивает слишком узкий круг специалистов, что делает его включение в мониторинг неэффективным.
В-третьих, все журналы, издаваемые под патронажем каких-либо вузов, автоматически не попадают в нашу выборку. Это связано с тем обстоятельством, что университетский журнал, даже получивший общероссийский статус, все равно выделяет свои страницы преимущественно под статьи своих сотрудников. В результате возникает вопиющий перекос в географии публикаций в пользу вуза, курирующего данный журнал. Следуя этой логике, нам пришлось отбросить «Экономический журнал ВШЭ», издаваемый Высшей школой экономики, и «Terra Economicus», издаваемый Южным федеральным университетом, хотя эти журналы по всем признакам могли бы войти в пул ведущих журналов страны. Заметим, что даже такой старый журнал, как «Вестник Московского университета. Серия 6, «Экономика»», выходящий с 1946 года и ставший за эти годы фактически общероссийским, демонстрирует чрезмерную «симпатию» к своим сотрудникам.
Опираясь на перечисленные критерии, нами были отобраны семь журналов, на основе которых предлагается составлять рейтинг вузов, ведущих подготовку по экономическим специальностям: «Вопросы экономики» (ВЭ), «Общество и экономика» (ОЭ), «Проблемы прогнозирования» (ПП), «Пространственная экономика» (ПЭ), «Экономика и математические методы» (ЭММ), «Экономическая наука современной России» (ЭНСР), «Журнал Новой экономической ассоциации» (ЖНЭА). При желании этот список может быть расширен, однако вряд ли его размер целесообразно увеличивать больше 12 изданий.
Что касается временного среза анализа, то нами выбран интервал в 3 года – 2010-2012 включительно. Проведенное обследование показало, что годовые данные обладают двумя явными недостатками. Во-первых, они дают усеченную выборку вузов (намного меньше 100), во-вторых, масштаб участия вузов на страницах журналов сильно колеблется по годам, давая чрезвычайно неустойчивые рейтинговые оценки. Такой подход фактически означает, что формируемый РУЭП имеет трехгодовую «память». Например, рейтинг 2012 года охватывает результаты вузов за 2012 и предыдущие 2 года.
Выбранный способ рейтингования позволяет строить либо скользящий ежегодный рейтинг, в котором будет осуществляться сдвиг трехгодового периода вперед на один шаг, либо рейтинг, составляемый раз в три года на основе новых данных. Преимущество первого подхода состоит в том, что он дает «сплошную» траекторию рейтинга (без окон и временных пробелов); кроме того, в силу пересечения двух смежных годов такой рейтинг будет давать плавные изменения с отсутствием слишком резкой рокировки университетов. Достоинство второго подхода заключается в том, что он дает рейтинг, основанный на принципиально разных информационных массивах, показывая накопленные изменения. На наш взгляд, второй подход более предпочтителен.
6. Характеристики выборки экономических журналов
Все перечисленные журналы имеют сильно различающиеся параметры, которые сами по себе несут довольно высокую информационную нагрузку. Для упорядочения имеющихся данных введем три индикатора для каждого журнала.
- Информационный потенциал журнала в абсолютном (zj) и относительном (αj) выражении. Данный показатель необходим для того, чтобы понять, насколько обширной является та информационная площадка, которую журнал предоставляет университетам страны.
- Информационное разнообразие журнала nj. Данный показатель позволяет оценить степень вузовской диверсификации информационной площадки журнала.
- Размер ядра исследовательских университетов в абсолютном (yj) и относительном (yj0) выражении, где yj=nj–njслуч, yj0=(1–njслуч/nj)100%; njслуч – число вузов, случайно попавших в рейтинг (в нашем случае такими считаются вузы, у которых набранный балл меньше двух, т.е. zij<2). Данный индикатор показывает, сколько вузов стабильно размещает свои статьи на страницах соответствующего журнала и тем самым реально конкурирует за передовые места в академическом рейтинге. Выбранная граница отсечения zij<2 представляется вполне оправданной, так как вуз, разместивший в журнале менее двух статей за три года, не может конкурировать за лидирующие места в национальной системе высшего образования.
Оценка данных показателей позволила получить сравнительные данные по журналам выборки (табл.1). Анализ полученных результатов показывает, что выбранные журналы очень сильно различаются практически по всем показателям. Особенно это характерно для информационного потенциала, который для ВЭ в 11 раз выше, чем для ПЭ, что предопределяет значительные различия и в других индикаторах. Можно указать несколько причин таких перепадов.
| c | Информационный потенциал | Ядро университетов | Информационное разнообразие (nj) | ||
|---|---|---|---|---|---|
| Абсолютное значение (zj) | Относительное значение (αj), % | Абсолютное значение (yj) | Относительное значение (yj0), % | ||
Во-первых, многие из обследованных журналов относятся к разряду академических, т.е. выпускаются под непосредственным патронажем институтов Российской академии наук (ПП, ПЭ, ЭНСР, ЭММ). Это означает, что значительная часть информационного пространства таких журналов отдается представителям академических организаций, а вузы в некоторых случаях играют лишь вспомогательную роль, получая страницы по «остаточному принципу». Так как академические институты не участвуют в РУЭП и нейтральны к нему, то такой подход не ведет к смещению рейтинговых позиций вузов, но урезает масштаб предоставляемой им научной площадки.
Во-вторых, на станицах многих журналов довольно часто печатаются иностранные исследователи – как из дальнего, так и ближнего зарубежья. Например, журнал ОЭ вообще позиционирует себя как научное издание СНГ, в связи с чем на его страницах публикуется большое число статей специалистов из бывших республик СССР.
В-третьих, некоторые журналы размещают безымянные материалы довольно большого объема. Это могут быть отчеты Мирового банка или иных авторитетных организаций, а также статистические приложения. Разумеется, все это отнимает место у исследователей из вузов.
В-четвертых, помимо академических и университетских исследователей, имеются специалисты из коммерческих структур и органов власти, которые также активно печатаются в научных журналах, зачастую почти полностью вытесняя из них преподавателей вузов.
В-пятых, многие журналы печатают статьи авторов, чье место работы не указывается. Такие статьи не могут быть идентифицированы и фактически выпадают из рассмотрения.
В-шестых, число издаваемых номеров в год и объем публикуемых статей анализируемых журналов сильно различаются. Например, журналы ПЭ, ЭММ, ЖНЭА и ЭНСР выходят 4 раза в год, тогда как ПП – 6, а ВЭ и ОЭ – 12. Кроме того, журналы ПП, ЭММ и ЖНЭА часто печатают статьи повышенного размера – до 1,5 печатных листов; другие журналы наоборот могут размещать статьи относительно небольшого объема – менее 0,5 листов.Наличие указанной дифференциации в индикаторах журналов оправдывает процедуру взвешивания журнальных рейтингов университетов с помощью весовых коэффициентов, учитывающих богатство научного контента изданий.
В целом отобранные для РУЭП семь журналов, на наш взгляд, вполне объективно отражают складывающуюся на рынке высшего образования ситуацию.
7. РУЭП: эмпирические результаты
Как уже отмечалось, выборка университетов является скользящей в том смысле, что зависит от их присутствия на страницах отобранных журналов. Этот принцип таит в себе определенные опасности в том смысле, что не позволяет проранжировать все вузы страны, так как большинство из них практически не обнародуют свои исследования в общероссийских изданиях. В этом смысле нами по умолчанию предполагается, что вузы, не вошедшие в наш рейтинг, автоматически получают нулевой рейтинговый балл и в этом смысле все равны. Что касается масштаба выборки, то он составляет 105 вузов страны. Это означает, что выбранный пул из семи журналов достаточен для идентификации 100 лучших университетов России. Практика построения рейтингов показывает, что списка Top-100 ведущих вузов страны вполне достаточно [3]; вузы, оказавшиеся за пределами этого списка, не попадают в сферу пристального интереса ни потребителей, ни властей, ни бизнеса.
Полученные в ходе рейтингования данные показывают, что важным показателем исследовательской деятельности вузов является стабильность присутствия их сотрудников на страницах журналов. В данном случае речь идет о том, что некоторые вузы осуществляют точечную экспансию и активно публикуются в одном-двух журналах, тогда как другие вузы идут широким фронтом и присутствуют во всех основных изданиях, хотя и не слишком масштабно. Как известно, стабильность – признак мастерства. В этом смысле целесообразно ввести в рассмотрение еще один важный индикатор – коэффициент стабильности присутствия вуза в отобранных журналах, который рассчитывается по следующей формуле:
где uij – логическая (булева) переменная:
Коэффициент стабильности ki даже сам по себе способен обеспечить вполне объективное ранжирование университетов, показывая системность позиционирования ими своих исследований в средствах печати, в связи с чем имеет смысл интегрировать этот фактор в искомый рейтинг. Для этого можно воспользоваться процедурой взвешивания
с последующей нормировкой рейтинговых баллов
Смысл такого свертывания состоит в том, чтобы нивелировать масштаб точечного распространения исследовательских результатов вузов. Забегая вперед, укажем, что эвристически выбранные весовые коэффициенты дают хорошие результаты рейтингования, что и оправдывает их существование.
Теоретически аналогом аддитивного рейтинга (8) может считаться мультипликативный рейтинг:
Обоснование такой формы рейтинга состоит в том, что два индекса xi и ki характеризуют масштаб и стабильность присутствия вуза в научном пространстве, что может интерпретироваться в качестве показателей глубины и ширины в соответствующих координатах. Тогда рейтинг (9) представляет собой площадь прямоугольника, задаваемого точками xi и ki; учитывая, что оба показателя пронормированы от нуля до 100%, то максимальная площадь Ri* также не превышает 100%.
Результаты расчетов, проведенных по формулам (2), (5), (8) и (9), приведены в табл.2, в которой представлены лишь первые 20 вузов страны, генерирующих экономические исследования.
| Номер | Университет | Частные рейтинги | Обобщенные рейтинги | ||
|---|---|---|---|---|---|
| Активность (xi) | Стабильность (ki) | Аддитивный (Ri) | Мультипликативный (Ri*) | ||
| Высшая школа экономики | |||||
| Московский государственный университет им. М.В.Ломоносова | |||||
| Московский государственный институт международных отношений | |||||
| Российская академия народного хозяйства и государственной службы при Президенте РФ | |||||
| Финансовый университет при Правительстве РФ | |||||
| Государственный университет управления | |||||
| Санкт-Петербургский государственный экономический университет | |||||
| Новосибирский государственный университет | |||||
| Санкт-Петербургский государственный университет | |||||
| Российский экономический университет им. Г.В.Плеханова | |||||
| Уральский федеральный университет им. Б.Н.Ельцина | |||||
| Петрозаводский государственный университет | |||||
| Южный федеральный университет | |||||
| Московский физико-технический институт | |||||
| Российская экономическая школа | |||||
| Амурский государственный университет | |||||
| Московский государственный университет экономики, статистики и информатики | |||||
| Костромская государственная сельскохозяйственная академия | |||||
| Международный университет природы, общества и человека «Дубна» | |||||
| Кемеровский государственный университет | |||||
Полученные оценки позволяют сделать определенные выводы.
Во-первых, при сравнении аддитивного и мультипликативного рейтингов предпочтение следует отдавать аддитивному (в табл.2 он помечен жирным шрифтом). С теоретической точки зрения преимущество мультипликативного рейтинга состоит в том, что он не требует никаких весовых коэффициентов, за счет чего устраняется традиционная проблема субъективности процедуры взвешивания. Однако мультипликативный индекс является слишком «выпуклым», что приводит к очень быстрому уменьшению рейтингового значения изучаемых вузов. Так, разрыв между первым и третьим вузом рейтинга оказывается более чем 4-кратным, что со всех точек зрения является чрезмерным. Такое свойство Ri* означает, что различия между вузами, следующими за пятью первыми, нивелируются, и точность диагностики снижается. Корреляционный анализ показывает, что между двумя индексами имеется очень высокая линейная связь и в целом они дают похожие результаты. Этот факт лишний раз доказывает работоспособность обоих индексов.
Во-вторых, в стране имеется небольшое ядро из пяти вузов-лидеров, догнать которые другим вузам вряд ли удастся в обозримой перспективе. При этом между этими пятью университетами также сложилась довольно жесткая иерархия. Так, безоговорочным лидером является Высшая школа экономики (ВШЭ), которая даже от своего ближайшего конкурента оторвалась почти на 34 процентных пункта, т.е. ее рейтинг в полтора раза выше, чем у МГУ им. М.В.Ломоносова. Однако похожая ситуация сложилась и в отношении МГУ, который почти на 20 п.п. (в 1,4 раза) оторвался от МГИМО. Тем самым и МГУ практически недосягаем для конкурентов. Фактически эти два вуза являются «несдвигаемыми» столпами российской экономической науки. Между тремя другими вузами ядра – МГИМО, РАНХиГС и Финансовым университетом – разрыв не столь фатален и между ними вполне возможна незначительная рокировка.
Надо сказать, что столь явное лидерство ВШЭ отнюдь не является аномалией, которая свидетельствует о сбоях в российской системе высшего образования. Для примера укажем, что согласно рейтингу экономических школ, составляемому Университетом Тилбурга (Голландия), в 2008-2012 гг. вторым вузом был Чикагский университет, который имел рейтинговый балл в 66,5% по сравнению со 100% главного лидера – Гарвардского университета [8]. Эта величина разрыва почти в точности совпадает с разрывом между МГУ и ВШЭ. Однако справедливости ради следует отметить, что остальные вузы рейтинга Университета Тилбурга следуют друг за другом с гораздо большей плотностью, чем в российском РУЭП.
В-третьих, среди вузов-лидеров из Top-10 просматриваются две диаметрально различные стратегии. Первая, которой наиболее системно придерживался МГИМО, состоит в том, чтобы идти максимально широким фронтом своими публикациями по специальным научным изданиям. Так, публикации МГИМО фигурируют во всех обследованных журналах. Вторая стратегия заключается в максимальной точечной «оккупации» определенных изданий. Такой линии поведения придерживался СПбГУ и отчасти ВШЭ. Наличие двух разнонаправленных стратегий научной экспансии (вширь и вглубь) уже само по себе представляет интересный факт.
В-четвертых, вузы-лидеры из Top-20 придерживаются в основном согласованной политики в отношении своих национальных и международных позиций. Например, ВШЭ, занявшая 1-е место в российском РУЭП, стоит на 2-м месте в международном рейтинге REPEC; для МГУ характерны соответственно 2-е и 5-е места, для СПбГУ – 9-е и 8-е, для Новосибирского университета – 8-е и 9-е [9]. Выпадает из этой обоймы Российская экономическая школа (РЭШ), которая, занимая 1-е место в рейтинге REPEC, стоит лишь на 15-й позиции в РУЭП (табл.2). Похоже, что РЭШ отдала приоритет англоязычным научным изданиям и тем самым проигнорировала русскоязычные журналы. Такая политика привела к парадоксальной ситуации, когда РЭШ, не успев стать лидером на национальном рынке экономических исследований, стала лидером на международном рынке. На наш взгляд, подобной несогласованности национальных и международных приоритетов вузам по возможности следует избегать.
8. Верификация РУЭП
Построенный РУЭП позволяет лучше уяснить исследовательский потенциал российских вузов, в которых ведется подготовка экономистов. Однако под вопросом остается сакраментальный вопрос о том, насколько адекватен этот рейтинг и можно ли ему доверять.
Надо сказать, что на сегодняшний день в науке не существует надежных методов оценки качества и надежности рейтингов. В большинстве случаев рейтинги оцениваются на самом общем интуитивном уровне – не противоречат ли они каким-то очевидным фактам. Для верификации нашего рейтинга можно последовать этому принципу.
РУЭП является достаточно прозрачным и честным в том смысле, что он отвечает принципу фальсифицируемости – он может быть легко проверен и пересчитан любым заинтересованным субъектом. Вся используемая при его построении информация имеется в открытом доступе и, зная правила начисления баллов, легко повторить всю учетную и расчетную процедуру. Однако узким местом рейтинга является выборка журналов, которая в той или иной степени является субъективной. При неправильном отборе пула ведущих журналов можно получить сильно искаженные результаты.
Итак, есть ли в РУЭП какие-то явные несоответствия действительности и логические нестыковки?
Выявленный лидер в лице ВШЭ представляется абсолютно логичным, и этот результат является вполне предсказуемым. Было бы странным обратное, т.е. когда на первом месте оказался бы какой-то другой вуз. Если же учесть тот факт, что в ВШЭ уже давно внедрена многоуровневая система материального поощрения сотрудников за активную пропаганду вуза в СМИ (т.е. за научные публикации с указанием бренда ВШЭ), то выявленный факт становится практически самоочевидным. Так что здесь расчетный результат вполне соответствует визуальным наблюдениям.
Стоит отметить два факта, которые проливают дополнительный свет на безусловное лидерство ВШЭ. Во-первых, исследователи ВШЭ активно сотрудничают с коллегами из других организаций и пишут статьи в соавторстве; представители других вузов России продуцируют в основном сольные тексты. Во-вторых, многие сотрудники ВШЭ работают параллельно в других (двух и более) организациях. Можно смело утверждать, что если бы эти два принципа в исследовательской деятельности ВШЭ отсутствовали, то ее первое место в РУЭП было бы под большим вопросом. Иными словами, умение сотрудничать с внешним миром, которое является важным элементом стратегии ВШЭ, лежит в основе ее академического успеха; остальные университеты пока не переняли такую политику, что и не позволяет им эффективно конкурировать с лидером.
Что касается набора вузов из Top-10, то он представляется также абсолютно прогнозируемым, ибо все вузы списка являются признанными лидерами в области экономического образования. Более того, даже порядок ранжирования этих университетов также соответствует интуитивному представлению экспертов и общественности об их значимости и «силе». Большая часть вузов из первой десятки обладает тем или иным специальным статусом с соответствующими университетскими бюджетами. В этом смысле не удивительно, что наиболее богатые вузы страны, имеющие финансовые ресурсы для стимулирования своих исследователей, занимают ведущие позиции в академическом рейтинге.
Состав второй десятки вузов также представляется вполне естественным, т.к. это всё довольно солидные учебные заведения, многие из которых давно предпринимают усилия по укреплению своих университетских брендов и получению достойного места на рынке высшего образования. Выявленная же аномалия, связанная с низким местом РЭШ, довольно легко объясняется, во-первых, ее игнорированием российского научного пространства, а, во-вторых, малым размером института, который по числу сотрудников сопоставим с одной-двумя кафедрами обычного университета. Если бы штат негосударственной РЭШ был раз в 5 больше, то даже при ее нынешней политике она, скорее всего, вошла бы в первую пятерку вузов.
Таким образом, РУЭП не генерирует явных ошибок, что позволяет квалифицировать его как работоспособный диагностический инструмент. Несмотря на это, возникает желание «усилить» рейтинг за счет увеличения числа отобранных журналов. Однако здесь ситуация подчиняется нелинейной зависимости: при слишком большом числе журналов, особенно узко профильных и сугубо специальных, качество информационной выборки падает и диагностические способности рейтинга ухудшаются. В дальнейшем было бы целесообразно поэкспериментировать с расширением журнального пула до 12-13 изданий. Если результаты не будут противоречить полученным в нынешней версии РУЭП, то в будущем можно использовать расширенную версию информационной выборки.
Статья подготовлена при финансовой поддержке Российского гуманитарного научного фонда (проект №12-02-00169а).
Литература
- Новиков А.В. Интеграция вузов в международную образовательную систему: южноафриканская модель бизнес-образования// «ЭКО», №10, 2010.
- Сухочев В.И. Проблема оценки качества компетентности выпускников вузов// «ЭКО», №7, 2010.
- Балацкий Е.В. Мировой опыт составления и использования рейтингов университетских факультетов// «Общество и экономика», №9, 2012.
- Балацкий Е.В. Российская практика оценки эффективности университетских программ// «Общество и экономика», №11, 2012.
- Российский индекс научного цитирования/ Официальный сайт РИНЦ: http://elibrary.ru/projects/citation/cit_index.asp.
- Перечень ведущих периодических изданий/ Официальный сайт ВАК Министерства образования и науки РФ: http://vak.ed.gov.ru/ru/help_desk/list/.
- Кларк Б.Р. Поддержание изменений в университетах. Преемственность кейс-стади и концепций. М.: Изд. дом Высшей школы экономики, 2011.
- The Tilburg University Top 100 Worldwide Economics Schools Research Ranking based on research contribution 2007-2011 (https://econtop.uvt.nl/rankinglist.php).
- Top 25% Institutions and Economists in Russia, as of August 2012 (http://ideas.repec.org/top/top.russia.html#authors).
Написать комментарий
1) “…качество образования в университете напрямую зависит от уровня и активности исследовательской деятельности, проводимой сотрудниками…” По собственному опыту — качество образования в данном смысле определяется вовлечением студентов в научно-практическую деятельность. У вузов “экономического и управленческого профиля” нет лабораторий и испытательных полигонов. Отождествлять исследования с оплаченными — иначе не пробиться — статейками образца критикуемой в “авторитетных” с точки зрения ВАК-мафии “академических” журнальчегах, может только шипка грамошный шипка учёный. Простой пример: выступая в апреле с лекцией в ГУУ акад. Маевский продемонстрировал вопиющую безграмотность в области теории экономики, что никак не мешает ему заявлять, что mr. Ливанов прав в своём стремлении разогнать педагогические коллективы государственных вузов. Как говориться, скажи мне, кто товй друг… Качество образования при политике как Мин. упразднения образования, так и ректоров вузов любого профиля “числом поболее, ценою подешевле”, вообще не имеет никакого значения. Достаточно заглянуть в индивидуальные планы преподавателей любого вуза за любой год прошедшего полувека, чтобы “тайное” стало явным. 2) Составление всевозможных пузомерок служит решению ровно одной практической задачи — “доказать”, что некоторые животные равнее, чем остальные, даже если для этого придётся подвергнуть массовому изнасилованию математическую статистику, социологию, экономику, педагогику, психофизиологию и здравый смысл во всех его проявлениях. И вообще, если уж мы вляпались в рынок “образовательных услуг”, то при чём тут всяческие позорные S&P и прочие мудевые фитчи? Пусть потребитель решает рублём, а уж мы, преподаватели, выучим любые рекламные слоганы, хоть на китайском, хоть на суахили, хоть на языке Эллочки-людоедки — снятой ли голове тужить по волосам!