Сегодня в мире возникла проблема множественности глобальных рейтингов университетов. Каким из них можно доверять, а каким – нельзя? На какие стоит ориентироваться, а на какие – не стоит? Можно ли определить среди них наиболее надежные и достоверные? Как это можно сделать?
1. Введение
С 2003 г. на академический мир обрушилась лавина глобальных рейтингов университетов, которые с каждым годом усиливают свое влияние на разные стороны жизни общества. Апофеозом этого влияния может служить голландский иммиграционный закон, согласно которому приоритет на въезд в страну предоставляется людям с высокой профессиональной квалификацией, подтверждаемой дипломом университета из списка Топ-150 глобального рейтинга (Baty, 2010); для этого в Голландии существует свой собственный глобальный рейтинг университетов Leiden Ranking (LR), составляемый Лейденским университетом (Centre for Science and Technology Studies, Leiden University); эта работа для вузов Европы ведется с 2000 года, а для общемировой выборки – с 2003 года; рейтинг основан на библиометрических индексах (The Leiden Ranking, 2008)). Одновременно с этим многими странами осуществляются многомиллиардные инициативы по созданию университетов мирового класса. Между тем проблема адекватности рейтинговых оценок набирает остроту. Эффект аберрации истинного положения дел усугубляется гипертрофированным влиянием рейтингов университетов на реальную жизнь общества.
К настоящему моменту накоплено уже достаточно много обзорных и критических работ, посвященных проблеме корректности рейтингов университетов. Один из последних обзоров существующих глобальных рейтингов университетов дан в (Балацкий, Екимова, 2011). Проблемы манипулирования рейтинговыми данными нашли свое отражение в работах (Baty, 2010), (Diamond, Graham, 2000), (Holmes, 2010), (Usher, Savino, 2007), (Van Raan, 2005), (Smith, 2010), (Marginson, 2007). Серьезные критические замечания в адрес библиометрических индексов были выдвинуты в (Arnold, Fowler, 2011). Дополнительные критические аргументы были приведены в работах (Свердлов, 2006), (Арский, Маркусова, Чумакова, 2007), (Гинзбург, 1998).
Множество содержательных проблем развития университетов в контексте формальных процедур формирования рейтингов были раскрыты в (Салми, 2009). Наличие же множества разных глобальных рейтингов привело к попыткам оценки степени их согласованности (Aguillo, Bar-Ilan, Levene, Ortega, 2010).
Однако процесс появления новых рейтингов продолжается. Так, в 2011 г. появился World Reputation Rankings (WRR), разработанный Times Higher Education совместно с агентством Thomson Reuters в качестве дополнения к ставшему уже популярным рейтингу THE и вместе с тем некой альтернативы существующим рейтингам. Его специфика состоит в том, что уровень академической репутации вузов оценивается на основании данных, полученных в ходе опроса свыше 13 тыс. представителей международного академического сообщества из 131 страны. На основании результатов наукометрического анализа продуктивности и цитируемости различных авторов компанией Thomson Reuters были отобраны преподаватели, работающие в вузах более 16 лет и опубликовавшие более 50 научных работ, которым были разосланы анкеты на 8 языках (английском, немецком, французском, испанском, японском, китайском и двух португальских – европейском и бразильском). Эксперты должны были выбрать из сотен дисциплин и 6 тыс. вузов только 10 лучших, по их мнению, университетов, а также сильнейшие вузы для продолжения образования на магистерском и докторском уровнях. Основными оценочными критериями были международная студенческая мобильность, обеспечиваемая вузом, количество международных стипендиальных программ и международных исследований. Результирующий показатель представляет собой средневзвешенную оценки образования с весом 1/3 и оценки исследований с весом 2/3. Все оценки нормированы по максимуму и приведены к 100-балльной шкале (The Times Higher Education, 2010a).
Таким образом, рейтинговое движение, изначально направленное на структурирование отрасли высшего образования, на нынешнем этапе развития порождает метааналитическую проблему по упорядочению самих глобальных рейтингов. Сегодня возникают вопросы, на которые пока нет адекватных ответов. Например, что надо делать университету, чтобы занять достойное место в глобальном рейтинге университетов? Как следует относиться к существующим рейтингам? Каким из них можно доверять, а каким – нельзя?
В связи с этим в данной статье рассматривается три группы вопросов. Первая предполагает введение классификации существующих глобальных рейтингов, которая позволяет объективно позиционировать их достоинства и недостатки. Вторая группа вопросов предполагает оценку степени согласованности наиболее авторитетных глобальных рейтингов. И третья группа связана с определением наиболее достоверных рейтингов на базе разработанной для этого простой методики.
2. Классификация рейтингов
Обобщая все разнообразие глобальных рейтингов университетов, можно дать их довольно простую классификацию, состоящую из четырех групп.
Первую группу составляют традиционные рейтинги, которые основаны на оценке довольно большого числа объективных показателей деятельности университетов (индексы активности научных публикаций и цитирований, показатели ресурсного обеспечения, успешности карьеры выпускников и пр.). К их числу относятся китайский Academic Ranking of World Universities (ARWU), тайваньский Performance Ranking of Scientific Papers for World Universities (PRSP), французский Professional Ranking of World Universities (PRWU) и голландский Leiden Ranking (LR).
Вторую группу образуют репутационные или персонифицированные рейтинги, основанные на обработке мнений экспертов, полученных в результате специальных опросов. К числу таковых относится пока только британский World Reputation Rankings (WRR).
Третью группу составляют виртуальные рейтинги или Интернет-рейтинги, которые основаны на показателях популярности университетских сайтов в Интернет-среде (частота посещений, число ссылок и пр.). К разряду таковых относятся испанский Webometrics (Web), армянский рейтинг АркаЛер и анонимный World Universities Web Ranking (4ICU).
Четвертую группу образуют смешанные или гибридные рейтинги, которые при составлении используют смесь из предыдущих трех методологий. В настоящее время это, как правило, синтез традиционных и репутационных рейтингов. К их числу относятся английский Times Higher Education (THE), английский Quacquarelli Symonds (QS), американский Newsweek «The Top 100 Global Universities» (NTGU), американский U.S.News & World Report's World's Best Universities ranking (WBU) и российский Global Universities Ranking (GUR).
Распределение глобальных рейтингов по разным типам сведено в табл.1.
| Тип глобального рейтинга университетов | |||
|---|---|---|---|
| Традиционный | Репутационный | Виртуальный | Гибридный |
| ARWU PRSP, LR PRWU |
WRR | Web 4ICU АркаЛер |
THE, QS NTGR, WBU GUR |
Смысл рассмотренной классификации состоит в том, чтобы понять, существует или нет связь между спецификой рейтингов с их надежностью. При наличии такой связи можно «изнутри» проанализировать источники возникающих ошибок в присвоении ранга тому или иному университету.
3. Симпатии и антипатии, альянсы и конкуренты
Проблема адекватности и надежности рейтинговых оценок является острой сама по себе, однако в условиях множественности глобальных рейтингов университетов она еще больше обостряется. Какой из существующих рейтингов следует признать лучшим? На какой из них следует ориентироваться? Какой рейтинг вызывает наибольшее доверие?
Сегодня все эти вопросы остаются без ответов. Между тем, независимо от ответов на эти вопросы, общественное мнение стихийно дрейфует в пользу тех или иных глобальных рейтингов. Так, например, опрос, проведенный компанией «Thomson Reuters» совместно с «Ipsos Insight Corporation», ведущей исследовательской фирмой по разработке и внедрению онлайн-опросов, охватил 350 респондентов (студентов и сотрудников вузов) из 30 с лишним стран мира (Smith, 2010). В частности, была определена популярность трех рейтинговых систем (табл.2).
| Регион мира | Разновидность глобального рейтинга | ||
|---|---|---|---|
| THE | ARWU | WBU | |
| Северная Америка | 54 | 34 | 95 |
| Европа | 78 | 41 | 16 |
| Австралия и Новая Зеландия | 86 | 81 | 32 |
| Азия | 91 | 66 | 31 |
| Всего | 72 | 49 | 44 |
Полученные результаты позволяют сделать следующие выводы.
Во-первых, наиболее популярным и узнаваемым глобальным рейтингом университетов является британский THE; на втором месте с большим отрывом стоит китайский ARWU, а замыкает опросный лист американский WBU (U.S.News & World Report, 2011).
Во-вторых, выявленная закономерность распространяется и на представителей Азии, которые, как это ни странно, европейскому рейтингу отдают явное предпочтение по сравнению с азиатским. Более того, жители Азии демонстрируют даже большую осведомленность о THE, чем представители всех других регионов.
В-третьих, американский рейтинг WBU, будучи формально глобальным, по сфере применения является все-таки, скорее, локальным и региональным; представители из других частей света очень плохо знакомы с ним.
Таким образом, можно констатировать, что между глобальными рейтингами на мировой арене развернулась борьба за признание широких масс, которое закрепляется в результатах авторитетных опросов. При этом 85% респондентов считает сравнение академических рейтингов полезным. Следовательно, в целом население желает иметь информацию о сильных и слабых сторонах существующих глобальных рейтингов.
Помимо всего прочего, рейтинговые системы подвержены процессам распада и объединения. Классическим примером первого может служить рейтинг QS-THES, который с 2009 г. распался на два самостоятельных глобальных рейтинга – QS и THE. Сегодня это две наиболее авторитетные рейтинговые системы. Параллельно оператор рейтинга THE Times Higher Education стал сотрудничать с агентством Thomson Reuters, которое с этого момента стало заниматься не только информационной базой научного цитирования Web of Science, но и разработкой глобального рейтинга университетов. Таким образом, мы наблюдаем интеграцию двух информационных продуктов в лице одного разработчика, представленного альянсом двух фирм.
Однако объединения рейтингов довольно часто принимают форму неявных альянсов. Например, в 2006 г. американский журнал Newsweek подготовил свой глобальный рейтинг университетов «The Top 100 Global Universities», исходной информационной базой для которого служили два авторитетных рейтинга – ARWU и THE. Тем самым на рынке глобальных рейтингов у двух «материнских» рейтинговых систем как бы появился «дочерний» рейтинговый продукт, что автоматически усилило их позиции. Нечто похожее произошло в 2008 году, когда под эгидой U.S.News & World Report's на рынок вышел американский рейтинг World's Best Universities ranking (WBU). Начиная с 2010 г. этот рейтинг базируется на данных рейтинга QS и активно сотрудничает с его разработчиком – компанией Quacquarelli Symonds. Иными словами, рейтинг QS осуществил ответные действия и вывел на международный рынок свой «дочерний» продукт.
В приведенных примерах мы видим, что британские фирмы входят в альянс с американскими компаниями, тем самым распространяя влияние своей методологии и своих данных на разработчиков из другого региона. Таким образом, в табл.2 рейтинговая система QS присутствует неявно – через рейтинг WBU. «Вклинивание» в этот процесс китайского оператора ARWU еще больше усложняет истинный расклад сил между рейтингами.
Альянсы между рейтинговыми агентствами дополняются и политикой диверсификации рейтинговых продуктов, о чем уже упоминалось выше. Например, в 2011 г. новый рейтинг World Reputation Rankings (WRR), разработанный Times Higher Education с агентством Thomson Reuters, позволил этим компаниям стать лидерами на совершенно новом сегменте рынка – в области «чистых» персонифицированных глобальных рейтингов. Такой шаг в очередной раз дает конкурентные преимущества британскому бренду THE.
4. Оценка взаимной согласованности глобальных рейтингов
Конкурентная борьба рейтингов, ведущаяся рыночными методами, имеет и чисто научное измерение. Например, можно ли определить, какой из существующих рейтингов более объективный и точный?
Однако прежде чем пытаться проверить глобальные рейтинги в смысле их достоверности, выясним то, насколько они согласованы между собой. Данная работа уже проводилась, в частности, в исследовании И.Ф.Агильо и др. (I.F. Aguillo et al.), в котором делается попытка определить согласованность разных глобальных рейтингов по группам университетов – Tot-10, Top-100 и Top-200 (Aguillo, Bar-Ilan, Levene, Ortega, 2010). Ниже мы попытаемся проделать эту работу, но для иного массива глобальных рейтингов. Так, в указанной работе использовалось 5 рейтингов (ARWU, THE-QS, Web, PRSP и LR), тогда как нами будет рассмотрено 6 рейтингов (табл.3).
| Рейтинги | QS | PRSP | ARWU | THE | Web | WRR |
|---|---|---|---|---|---|---|
| QS | 1 | –0,030 | 0,317 | 0,601 | –0,215 | 0,613 |
| PRSP | –0,030 | 1 | 0,300 | 0,150 | 0,195 | 0,225 |
| ARWU | 0,317 | 0,300 | 1 | 0,607 | 0,493 | 0,529 |
| THE | 0,601 | 0,150 | 0,607 | 1 | 0,049 | 0,652 |
| Web | –0,215 | 0,195 | 0,493 | 0,049 | 1 | –0,041 |
| WRR | 0,613 | 0,225 | 0,529 | 0,652 | –0,041 | 1 |
В основной серии расчетов нами использовался массив данных Топ-25 университетов. Ранги (места) университетов оценивались попарно между всеми рейтингами с помощью обычного коэффициента корреляции. В наших расчетах использовался обычный коэффициент корреляции, хотя по логике исследования следовало бы воспользоваться каким-то коэффициентом ранговой корреляции (например, коэффициентом Спирмена). Однако это невозможно в силу специфики используемых массивов данных. Дело в том, что если в одном массиве (рейтинге) из 25 университетов мы имеем строго мажорированное упорядочение ранга от 1 до 25, то в других массивах (рейтингах) нарушается не только процедура мажорирования, но могут возникать ранги с числом больше 25, а некоторые внутренние значения ряда [1; 25] могут выпадать. В этом случае использование рангового коэффициента корреляции становится некорректным. Результаты расчетов приведены в табл.3, в которой жирными цифрами обозначены значимые коэффициенты корреляции с коэффициентом значимости в 1%. Из табл.3 можно сделать следующие выводы.
Единственным самостоятельным и не связанным с другими рейтингами является тайваньский PRSP. Почти автономным является Web, имеющий слабую согласованность только с ARWU. Аналогично выглядит рейтинг QS, имеющий явную согласованность с THE, с которым он связан исторически и методологически (ранее они составляли единый рейтинг QS-THES), и с WRR, который также разрабатывается их бывшей общей «материнской» компанией. Именно эти три рейтинга – PRSP, Web и QS – можно считать маргинальными в том смысле, что их результаты плохо коррелируют с другими глобальными рейтингами. Остальные три рейтинга – THE, WRR и ARWU – имеют высокий статус согласованности, равный трем. Под статусом согласованности данного рейтинга нами понимается число других рейтингов, с которыми у него имеется значимый коэффициент корреляции. Так, у PRSP данный статус равен 0, у Web – 1, у QS – 2, у THE, WRR и ARWU – 3. При этом самыми высокими коэффициентами корреляции отличается рейтинг THE, за ним идет WRR и замыкает группу ARWU.
Учитывая, что мы сравниваем два традиционных, два гибридных, один виртуальный и один репутационный рейтинги, полученные результаты представляются вполне объективными, т.к. в них не прослеживается явного преимущества двух пар. Наоборот, в каждой паре имеется лидер (THE и ARWU) и аутсайдер (QS и PRSP). Таким образом, вхождение в определенный класс рейтинга еще не гарантирует сходства рейтингов. Особенно ярко это видно на примере ARWU, который фактически не имеет согласованности с «родственным» рейтингом PRSP, но довольно хорошо согласуется с рейтингами других классов – THE, WRR и Web (табл.3).
Любопытно, что проведенные расчеты не выявили устойчивой группы взаимосогласованных рейтингов. Так, три рейтинга, претендующих на роль лучших (THE, WRR и ARWU) не образуют замкнутой группы; в нее «примешиваются» Web и QS. Таким образом, явная групповая согласованность глобальных рейтингов отсутствует, что делает проблему оценки их надежности еще более насущной и нетривиальной.
Во второй серии расчетов нами использовался массив данных для пяти рейтингов (без WRR) для университетских выборок Топ-25, Топ-50 и Топ-75. Укажем основные результаты. Так, для Топ-25 результаты оказались практически идентичными табл.3. Однако увеличение выборки приводит к росту согласованности рейтингов. Например, для Топ-50 рейтинг PRSP оказался согласованным уже с двумя рейтингами – QS и ARWU. В Топ-75 практически все рейтинги оказались согласованными между собой; не просматривалось согласованности только между QS и Web. Таким образом, рост выборки увеличивает согласованность глобальных рейтингов. По-видимому, это связано с тем, что для больших выборок большее значение имеет не столько характер ранжирования, сколько сам факт ранжирования элементов. Иными словами, на больших выборках качественная похожесть рейтингов лучше заметна, чем на малых выборках.
5. Методика анализа надежности глобальных рейтингов
Все существующие на сегодняшний день рейтинги чрезвычайно уязвимы. Однако даже подробный анализ методов манипулирования с ними не позволяет прийти к выводу о том, какой же из них является наиболее предпочтительным. Между тем их множественность сама по себе дает новые возможности для анализа степени их адекватности. Опираясь на этот факт, рассмотрим простую схему, которая позволяет внести некоторую дополнительную ясность в вопрос об их достоверности.
Наш алгоритм представляет собой эвристическую процедуру, состоящую из несколько простых шагов.
На первом шаге вычисляется медианный, т.е. усредненный, глобальный рейтинг университетов:
В основе данной процедуры лежит простая идея о том, что при объединении различных рейтингов «включается» закон больших чисел (не следует буквально воспринимать применение закона больших чисел к глобальным рейтингам; строго говоря, наличие 5-6 рейтингов еще не «включает» закона больших чисел, но учитывая значимость и конструкцию рейтингов, такой подход представляется правомерным). Тем самым усредненная оценка по многим испытаниям (рейтингам) дает некий ориентир истинного места изучаемого университета. Подчеркнем, что полученный медианный рейтинг имеет вспомогательное значение и его не следует воспринимать в качестве самостоятельного индикатора. Вектор (1) выступает в качестве квазиобъективной оценки университетских рангов.
На втором шаге рассчитывается показатель среднего отклонения δi рангов конкретного рейтинга от оценок медианного рейтинга (1):
На основе показателя (2) можно провести сравнение степени адекватности глобальных рейтингов. Если δi имеет незначительную величину, то это означает, что ранги i-ого рейтинга не сильно отклоняются от рангов медианного рейтинга и, следовательно, результаты этих двух рейтингов хорошо согласованы. В этом случае подобный рейтинг вправе претендовать на высокий уровень доверия. В противном случае, когда ранги i-ого рейтинга сильно отклоняются от рангов медианного рейтинга, можно говорить об их рассогласованности, и i-ый рейтинг должен классифицироваться как ненадежный.
На третьем шаге предстоит определить, какие рейтинги лежат в зоне допустимых отклонений, а какие выходят за ее пределы. Будем считать, что рейтинг обладает свойством глобальной надежности, если выполняется условие:
При нарушении правила (3) рейтинг будем считать глобально ненадежным.
Для определенности будем полагать, что
В основе оценки (4) лежит следующая логика.
Любую изучаемую группу университетов можно механически разбить на три равные подгруппы. Первая подгруппа будет состоять из «хороших» вузов (лидеров) группы, вторая подгруппа – из «средних» вузов, а третья – из «плохих» (аутсайдеров). Тогда правомерно предположить, что недопустимым должно считаться такое отклонение, при котором университет может переходить в качественно другую подгруппу, т.е. осуществлять переход через подгруппу. Например, вполне допустимо, что университет из лидеров перейдет в подгруппу середняков, но будет странно, если он окажется в подгруппе отстающих. Данная логика справедлива и в обратном направлении, когда аутсайдер окажется в группе лидеров. Подобные качественные рассогласования будем считать недопустимыми. Учитывая, что (2) показывает среднее число мест (рангов), на которое отклоняются вузы рейтинга от своего медианного значения, его значение не должно превышать длину подгруппы – N/3; в противном случае будет возможен перескок через подгруппу середняков. Этим обстоятельством и предопределяется значение (4).
Помимо выводов относительно глобальных рейтингов, можно сделать аналогичные выводы и для университетов, входящих в анализируемую группу. Например, в целом рейтинг может обладать свойством глобальной надежности, но при этом ряд вузов он оценивает все-таки не очень удачно. В этом случае можно говорить о
локальной надежности
в том смысле, что некоторые вузы из рассматриваемой выборки обладают избыточной подвижностью, не вписываясь в рамки установленных ограничений. Тогда можно применить процедуру просеивания вузов по принципу: если для j-го университета в i-ом рейтинге выполняется условие
(в дальнейшем данное неравенство будем называть условием локальной надежности), то этот университет обладает свойством локальной надежности; в противном случае вуз не обладает указанным свойством.
Результат просеивания университетов может быть зафиксирован с помощью следующего долевого показателя:
Процедура просеивания университетов позволяет, во-первых, перейти к микроанализу при изучении конкретных вузов, в отношении которых имеются вопросы о правомерности их ранга, а во-вторых, получить дополнительный показатель надежности изучаемого рейтинга. Для более тонкого анализа показателя μ можно использовать условие, согласно которому допустимым считается доля локально ненадежных университетов в 1/3 от изучаемой выборки. Тогда рейтинг считается локально надежным при μ>66,6%.
В дальнейшем показатель (2) будем трактовать как коэффициент глобальной надежности рейтинга, а коэффициент (5) – как коэффициент локальной надежности.
6. Информационная база расчетов
Предложенный подход к оценке надежности рейтингов университетов был апробирован на данных рассмотренных ранее наиболее репрезентативных рейтингов. Нами были проведены 2 серии расчетов. В первой использовалось 6 рейтингов (m=6), во второй – только 5 (m=5). При этом все рейтинги использовались за 2010 год, а рейтинг WRR – за 2011 год. Добавление к пяти синхронизированным рейтингам дополнительного рейтинга за другой год объясняется тем обстоятельством, что рейтинг WRR является достаточно консервативным и быстро не меняется, а также тем, что он был составлен на основе опросов 2010 года и тем самым отражает ситуацию в основном за предыдущий год. Следовательно, шестой рейтинг по своему содержанию полностью соответствует остальным рейтингам. Эта логика распространяется и на предыдущие расчеты взаимной согласованности рейтингов.
В первой серии расчетов использовалась только одна короткая выборка в 25 университетов, во второй серии – три выборки в 25, 50 и 75 вузов. Такие ограничения в выборках были связаны со сложностью «стыковки» вузов разных рейтингов. Например, вуз, стоящий в середине первой сотни в одном рейтинге может оказаться в середине второй сотни в другом рейтинге. Таким образом, речь идет не о простой рокировке университетов внутри выборки, а об их рокировке в рамках некоторой расширенной выборки. Соответственно ранги многих университетов далеко выходят за пределы изучаемой выборки.
Использование только одной 25-элементной выборки для первой серии расчетов связано с тем, что рейтинг WRR после 25 места очень плохо соответствует другим рейтингам, будучи самым коротким рейтингом из всех существующих (только Топ-100); «обрубленность» его информационной базы не позволяла найти университеты, необходимые для сравнения по другим рейтингам.
Вторая серия расчетов проводилась для трех выборок, однако уже даже для выборки в N=100 оказалось невозможным найти все нужные вузы в открытых базах изучаемых рейтингов.
Плохая стыковка университетов в разных выборках рейтингов привела к тому, что проведение сравнительных расчетов потребовала определения некоего реперного (опорного) рейтинга, который задает исходный массив университетов для изучаемой выборки. Таковой выбирается в значительной степени произвольно и субъективно. Нами в качестве реперного рейтинга был выбран ARWU как самый «старый» и один из самых авторитетных. На первый взгляд, может показаться, что такой особый статус ARWU дает ему преимущества в последующих вычислениях. Однако на самом деле, даже если это и происходит, то «вычислительный бонус» ARWU, будучи случайной величиной, пренебрежимо мал и им можно пренебречь без потери содержательных результатов.
7. Результаты эмпирических расчетов
Результаты проведенных расчетов приведены в табл.4-5, анализ которых позволяет сделать ряд предварительных и очень осторожных выводов.
Так, в первой серии расчетов (m=6) хорошо просматривается иерархия рейтингов по уровню надежности (табл.4). При этом три из них – WRR, THE и ARWU – проходят тесты на глобальную и локальную надежность. Остальные три рейтинга – PRSP, QS и Web – по обоим тестам должны быть признаны как недостаточно надежные. Тем самым лучшими из существующих глобальных рейтингов университетов оказываются два самым старых из них (THE и ARWU) и репутационный рейтинг WRR, который вообще занял лидирующее положение. Судя по всему, именно этим рейтингам и следует доверять больше всего; именно на них и следует ориентироваться.
Заметим сразу, что этот результат хорошо соответствует данным о популярности рейтингов (табл.2). Тем самым мы имеем довольно редко встречающуюся картину: наиболее надежные рейтинги одновременно являются и наиболее популярными.
| Рейтинги | N=25; δкрит=8,3 | |
|---|---|---|
| δ | μ | |
| THE | 6,8 | 76,0 |
| ARWU | 6,6 | 68,0 |
| WRR | 7,1 | 76,0 |
| PRSP | 10,1 | 56,0 |
| QS | 12,9 | 52,0 |
| Web | 21,5 | 36,0 |
| Рейтинги | N=25; δкрит=8,3 |
N=50; δкрит=16,7 |
N=75; δкрит=25 |
|||
|---|---|---|---|---|---|---|
| δ | μ | δ | μ | δ | μ | |
| THE | 7,5 | 68,0 | 15,0 | 76,0 | 18,5 | 74,7 |
| ARWU | 7,8 | 68,0 | 16,1 | 70,0 | 22,9 | 66,7 |
| PRSP | 10,4 | 52,0 | 18,4 | 60,0 | 24,5 | 70,7 |
| QS | 13,7 | 40,0 | 27,0 | 46,0 | 37,4 | 46,7 |
| Web | 20,5 | 36,0 | 31,7 | 52,0 | 50,7 | 48,0 |
Однако сделанный вывод нуждается в определенной корректировке. Дело в том, что репутационный рейтинг WRR может считаться «хорошим» только для очень короткого списка рейтинга, когда осуществляется оценка только 25 университетов-лидеров. Для более широкого списка применение этого рейтинга становится сомнительным, если не сказать, бессмысленным. Это свойство WRR непосредственно связано с недостатками в методике его построения. Иными словами, мы определили пределы, в которых репутационные рейтинги являются высокоэффективными. Подчеркнем, что зафиксированный предел эффективности в 25 вузов является совершенно нетривиальным и неожиданным. Исходно, на основе распределения рейтинговых оценок, было вполне логично предположить, что этот предел гораздо уже и не превышает 10-12 позиций.
Результаты второй серии расчетов подтверждают сделанные выводы (табл.5). Два «старых» рейтинга – THE и ARWU – по-прежнему сохранили свое лидерство. Более того, британский рейтинг и здесь опережает шанхайский рейтинг. Несколько нарушает картину только тайваньский рейтинг PRSP, который в выборке с N=75 по обоим критериям попал в группу надежных рейтинговых систем. Следовательно, можно говорить о том, что на большом массиве статистики данный рейтинг претендует на статус вполне надежного измерителя. Остальные два рейтинга – QS и Web – неизменно сохраняют позиции маргинальных систем.
Следует отметить, что рейтинг WRR хорошо работает в начале рейтинга и очень плохо на его «теле», тогда как PRSP, наоборот, дает недостоверные оценки на довольно длинном «хвосте» вначале и вполне приличные – на остальной части. Тем самым можно говорить о «короткой» и «длинной» специализации глобальных рейтингов.
Важной закономерностью второй серии расчетов является факт роста отклонения (2) по мере роста выборки:
Интересно, что в отношении коэффициента μ столь простой закономерности не просматривается. Здесь имеет место следующая картина: для «хороших» рейтингов локальная эффективность по мере роста выборки сначала увеличивается, а потом уменьшается; для «плохих» рейтингов прослеживается однонаправленная тенденция к росту μ. Тем самым можно лишь утверждать, что появление университетов-маргиналов в разных выборках разных рейтингов происходит неодинаково.
Было бы неверным абсолютизировать полученные результаты расчетов. Однако они все-таки вносят некоторую ясность в диспозицию существующих глобальных рейтингов университетов, что само по себе имеет немаловажное значение.
Арский Ю.М., Маркусова В.А., Чумакова Н.Ф. (2007) Науки о Земле: объемы и рейтинги отечественных публикаций// Вестник Российской академии наук, Том 77, №10.
Балацкий Е.В., Екимова Н.А. (2011) Международные рейтинги университетов: практика составления и использования// Журнал Новой экономической ассоциации, №9.
Гинзбург В.Л. (1998) Почему советские ученые не всегда получали заслуженные ими Нобелевские премии?// Вестник Российской академии наук, Том 68, №1.
Кларк М. (2002) Некоторые идеи о рейтингах академического качества// Высшее образование в Европе. Том XXVII, №4. Режим доступа: http://technical.bmstu.ru/istoch/kach/idorejt.doc, свободный. Загл. с экрана. Яз. англ. (дата обращения: декабрь 2010 г.).
Салми Дж. (2009) Создание университетов мирового класса. М.: Издательство «Весь Мир».
Свердлов Е.Д. (2006) Миражи цитируемости. Библиометрическая оценка значимости научных публикаций отдельных исследователей// Вестник Российской академии наук, Том 76, №12.
Aguillo I.F., Bar-Ilan J., Levene M., Ortega J.L. (2010) Comparing University Rankings // Scientometrics. Vol. 85. February.
Arnold D.N., Fowler K.K. (2011) Nefarious Numbers// Notices of the AMS, Vol.58, No.3.
Baty Ph. (2010) Measured, and found wanting more [Электронный ресурс]// Times Higher Education, 8 July. Режим доступа: http://www.timeshighereducation.co.uk/story.asp?storycode=412341), свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).
Diamond N., Graham H. (2000) How should we rate research universities? [Электронный ресурс] Режим доступа: http://www.pha.jhu.edu/~sujian/ranking.htm, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).
Holmes R. (2010) The THE-QS World University Rankings, 2004–2009/ Universities Rankings Watch, October, 19/ Режим доступа: http://www.universities06.com/theqsranking.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).
Marginson S. (2007) Global university rankings: where to from here?/ Asia-Pacific Association for International Education, National University of Singapore, 7-9 March. Режим доступа: http://www.cshe.unimelb.edu.au/people/marginson_docs/APAIE_090307_Marginson.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: май 2010 г.).
Smith D.N. (2010) The history behind universities, league tables and the brand [Электронный ресурс]// Global Opinion Survey. New Outlooks on Institutional Profiles, February. Режим доступа: http://science.thomsonreuters.com/m/pdfs/Global_Opinion_Survey.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: декабрь 2010 г.).
The Leiden Ranking 2008 (2008) [Электронный ресурс] Рейтинг. Хозяин сайта, Голландия. Режим доступа: http://www.cwts.nl/ranking/LeidenRankingWebSite.html, свободный. Загл. с экрана. Яз. англ. (дата обращения: май 2011 г.).
The Times Higher Education (2010a) [Электронный ресурс] Рейтинг. Хозяин сайта, Великобритания. Режим доступа: http://www.timeshighereducation.co.uk/world-university-rankings/2010-2011/reputation-methodology.html, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).
The Times Higher Education (2010b): [Электронный ресурс] Рейтинг. Хозяин сайта, Великобритания. Режим доступа: http://www.timeshighereducation.co.uk/world-university-rankings/, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).
Van Raan A.F.J. (2005) Challenges in Ranking Universities/ Invited paper for the First International Conference on World Class Universities, Shanghai Jaio Tong University, Shanghai, June 16-18.
Usher A., Savino M. (2007) A Global Survey of Rankings and League Tables. College and University Ranking Systems. Global Perspectives and American Challenges/ Institute for Higher Education Policy (editor). Режим доступа: http://www.educationalpolicy.org/pdf/World-of-Difference-200602162.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).
U.S.News & World Report (2011) [Электронный ресурс] Рейтинг. Хозяин сайта, США. Режим доступа: http://www.usnews.com/, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).
Написать комментарий