ще немного о Российском индексе научного цитирования (РИНЦ)

     

Когда достижение некоторого показателя

становится целью, он перестает

быть хорошим показателем.

Закон Гудхарда

    В 2005 г. Федеральное агентство  по науке и инновациям (Роснаука)  объявило конкурс на  проект «Разработка системы статистического  анализа российской науки на основе данных Российского  индекса цитирования». Конкурс выиграла Научная электронная библиотека (eLIBRARY.RU).   Основная задача проекта заключалась   в создании инструмента для анализа  российской науки.  Поскольку более – менее адекватного  инструмента для проведения такого  анализа не было, то перед разработчиками  стала задача разработать информационную систему (базу данных) по учету  публикаций и их цитированию. Это должен  быть  специализированный информационный продукт, включающий полную библиографическую информация о публикациях и пристатейные ссылки цитируемой  в публикациях  литературы. Такая БД  позволяет находить конкретные  публикации,   публикации, цитируемые в  конкретной статье, а также  статьи, цитирующие данную статью. На основе количественных оценок этих данных  и должен проводиться анализ российской науки. Разрабатываемая система получила название Российский индекс научного  цитирования (РИНЦ)

     Опыт по созданию, ведению и использованию  данного подхода накоплен в США  в Институте научной информации (Institute for Scientific Information - ISI),  где в 1964 г.  создана и работает по настоящий день  первая в мире база данных научного цитирования (Web of Science) [1], которая с 2015 г. называется Web of Science Core Collection.  В 2004 г.  издательством Elsevier  создана и начала  работать  база данных Scopus [2]. В ряде стран начали создаваться национальные индексы научного цитирования: Китай – Chinese Science Citation Index (1989 г.) [3];  Япония – Citation Database for Japanese Papers [4] и другие.  Таким образом,  к началу создания  РИНЦ у разработчиков было представление  об  аналогичных информационных продуктах,  существовала  мощная техническая база  для обработки больших объемов информации,  предлагались и  мощные системы управления базами  данных (СУБД).

    Российский индекс научного цитирования (РИНЦ) - это отечественная национальная информационно-аналитическая система, которая содержит по данным на конец октября 2016 г. более 23,5 миллионов публикаций российских авторов, 226,5 миллионов пристатейных ссылок из более 13,5 тыс. [5]  российских журналов. РИНЦ обеспечивает научных исследователей актуальной справочно-библиографической информацией, является мощным инструментом в оценке результативности и эффективности деятельности научно-исследовательских организаций, ученых [6].

    Заявленная изначально цель — создание информационной системы, максимально полно отражающей публикации российских ученых в области естественных, технических, гуманитарных и общественных наук. Логика примерно такая: большинство российских научных журналов не учитываются международными базами данных, давайте же возьмем и учтем то, что не учитывается международными базами. Ничего неразумного в том, чтобы учесть цитирование в российских журналах по техническим и общественно-гуманитарным наукам, не попавших в международные базы, нет. Тем более в качестве требования к продукту было сказано — «Система должна быть конкурентоспособна на мировом рынке информационных продуктов, и рассчитана на массовое применение» [7].

    Наша статья охватывает ряд вопросов, решение которых, на наш «пользовательский» взгляд,   стало насущной необходимостью, поскольку система,  наращивая мощности,  уже  не вполне отвечает  требованиям к качеству аналитических показателей и не в полной мере решает  поставленные перед нею задачи. Но прежде чем говорить о  своих предложениях по совершенствованию системы, скажем о положительных решениях в  реализации РИНЦ.

1. Система проста в обращении, имеет весьма дружественный интерфейс. Даже неподготовленный пользователь  в состоянии  достаточно оперативно  начать работать с системой.

2. Охват источников  весьма широкий, включает журналы,  отдельные книги, сборники статей, труды конференций и др., хотя  отличается бессистемностью. Признаем, что этот опыт все-таки положительный.

3. Большое количество расчетных показателей. Хотя имеются значительные сомнения в их достоверности,  попытка   создания алгоритмов имеет место.

4. Публикационная активность большинства российских авторов и научных организаций отражается достаточно полно, что позволяет с    приближенной степенью оценки судить о  некоторых научных успехах авторов или организаций [8].

5. РИНЦ в некоторой  степени стимулирует российские издательства к переходу на распространение журналов в электронном виде в связи с предоставлением полных текстов публикаций [9].

6. Обеспечение доступа зарегистрированных авторов к очень  удобной функции: по соглашению с компаниями Thomson Reuters и Elsevier, eLIBRARY.ru позволяет бесплатно получать сведения о цитирований публикаций, имеющихся в РИНЦ, в Scopus и Web of Science.

    25 сентября 2014 г. между компанией Thomson Reuters (подразделение   по научным исследованиям и интеллектуальной собственности – Intellectual Property & Science – IP&Science) и Научной электронной библиотекой  eLIBRARY.RU   было подписано соглашение о размещении  РИНЦ на платформе Web of Science.   Этот ресурс получил название Russian Science  Citation Index (RSCI) [10]. Цель  этого  размещения -  обеспечить   большую доступность о значимых научных исследованиях в Российской Федерации и интегрировать российские публикации   более глубоко в международные базы данных.

    Однако в ходе постоянной работы с РИНЦ  мы выявили ряд проблем,  негативно влияющих на показатели  оценки публикационной активности и цитируемости.  На них мы остановимся детальнее в настоящей публикации.

1.       1. До настоящего времени нет четких критериев  для отбора  изданий, которые должны индексироваться в РИНЦ. Можно  было бы выделить два подхода:  а) индексируем  все российские издания, включая журналы, книги, диссертации и пр.; б) индексируем в соответствии с договорами с издательствами либо с авторами.  Однако выпадение  отдельных номеров или выпусков  в журнальных подборках остается загадкой. Еще более непонятен подход к индексированию монографий.  Статьи из сборников часто индексируются выборочно, критерий отбора  не сформулирован.  Если РИНЦ ориентирован исключительно на журнальную периодику, то   пусть так и будет. Но по непонятному для нас  пользователей принципу индексируются отдельные монографии.  Подсчеты аналитической системы построены по принципу «за вычетом монографий», что и приводит к искажению показателям продуктивности, эффективности научного труда [11].  А ведь именно монографии, научные книги являются наиболее важным  источником фундаментальных знаний. Мы можем сослаться на   заявление  главы Минобрнауки  О.Ю. Васильевой: «… мы настаиваем, что монография, особенно для гуманитариев, будет основной оценкой работы» [12]. Остается надеяться, что и   монографии в области  естественных, точных и прикладных наук    станут основными  в оценке работы научных специалистов.
2.      2. Доступ к полным текстам научных журналов (открытый доступ)  напоминает «лоскутное одеяло». Российские научные журналы, размещенные на платформе eLIBRARY.RU, имеют открытые полнотекстовые выпуски, но  самом деле это не все выпуски, и не все статьи, поскольку  некоторые статьи   вообще отсутствуют  в научной электронной библиотеке, часть  предоставляется исключительно через систему заказа,  за отдельную плату.

Предоставление полных текстов – это  уже другая задача.  Собственно,  для статистических отчетов достаточно правильно сформированных метаданных.  Но не  использовать сегодня такую возможность, было  бы  не вполне логично, поэтому этот сервис можно только приветствовать.

   Безусловно, что    формирование полных тестов статей возможно лишь на основании  тесного взаимодействия с издательствами и авторами (мнение последних порой не требуется или игнорируется, даже  в условиях  действия ГК РФ, Глава 4 (Авторское право») [13]. Можно рассмотреть следующие варианты размещения полных текстов:

- открытый доступ для всех читателей сайта eLIBRARY.RU,

- платная подписка на электронные версии как  текущих, так и архивных выпусков,

-  платная подписка на  электронные версии текущих номеров и открытый доступ к архивам,

- переадресация на поставщика  публикаций (издательство, автора и пр.).

    Учитывая: а)  издательский  бизнес требует вполне  определенных затрат, б) опыт зарубежных издательств, в) затраты на формирование и поддержку  самого  РИНЦ -  наиболее оптимальным может быть вариант, когда в платном доступе находятся текущий и предыдущие годы, а архивы в открытом.   При таком варианте  все-таки  сочетаются коммерческие интересы  издательств  и  стремление научных специалистов к модели Открытого доступа (ОД), то есть бесплатному доступу  к значительной части информационных ресурсов.

      3. Идентификация авторов  и цитирующих персон.

    В РИНЦ множество источников, имеющих  свои требования к оформлению публикаций.  При вводе  библиографии в РИНЦ, к сожалению,  все это разнообразие сохраняется. Хотя, казалось бы, что именно  в данном случае  должна проводиться унификация, возможно, в соответствии с ГОСТом [14] или собственными, но весьма жесткими правилами.  Именно правильность  идентификации авторов наиболее критична при   подготовке статистических отчетов.

    На конкретном примере одного из авторов данной публикации посмотрим статистику. На заглавной странице видим следующие показатели (дата 01.11.2016 г.): 

Цветкова  Валентина  Алексеевна  Библиотека по естественным наукам РАН (Москва)

64

299

6

     В разделе  авторов мы видим список, когда  Цветкова  В.А. выступает под двумя именами. Ни у одной и вариантов фамилий нет цифры 64. Суммарное число  публикаций составит 76. Однако система насчитала 66.  Алгоритм расчета мы уяснить не в состоянии. 

▲

АВТОРЫ

 

 

Всего найдено 66 публикаций с общим количеством цитирований: 200.

     Интерпретация имен и фамилий  цитирующих авторов просто впечатляет, рис. 1. Безусловно,  в данном случае мы имеем   типичные ошибки ввода  информации в базу данных РИНЦ: Ро И И, За-Лаев Г З и т. д.  К издателям публикаций в подобных случаях  вряд ли можно предъявить какие-либо претензии.

     

Рис. 1. Примеры  разнообразного написания   фамилий и имен цитирующих  авторов

 

    Следует отметить, что система не учитывает ссылки в иностранных журналах, если  фамилия автора указана иначе, нежели это было сделано при регистрации, что, в общем, и характерно, поскольку регистрируемся на русском языке, а ссылки часто бывают  на  иностранном. Характерны ошибки в написании инициалов, что приводит к тому, что ссылка направляется на ручную проверку [15 ].

      Таким образом, чтобы подсчитать индекс Хирша,  надо  как-то объединить данные по разнообразному написанию имени автора,  а также  цитирующих авторов.  Что  подсчитывает  РИНЦ – это отдельный вопрос.

      Достаточно  образно рассмотрены варианты слияния   публикационных показателей  авторов, имеющих  одинаковые фамилии и инициалы, в работе [16].

      Невольно задаешься вопросом:  что же считает  РИНЦ, каков алгоритм подсчета, на основании таких фактических данных можно  подсчитать  статистику,  какова ее погрешность?  Можно ли  такие показатели показывать соответствующим структурам для принятия решений?

1.      4. Расхождения в аналитических показаниях.  Мы уже проиллюстрировали расхождения в аналитических показателях конкретного автора. Эти расхождения могут быть существенными, в основном они касаются расхождения между числом  «найденных» публикаций тех или иных ученых и действительным количеством опубликованных ими работ. Существенные расхождения имеются не только в действительном количестве опубликованных работ, но и с результатами в зависимости от даты фиксации аналитических данных (даже для авторов, которые уже  не пишут и не цитируют, покинув этот мир),  что  проиллюстрировано  в таблице 1.

 

Таблица 1. Результаты поиска публикаций  авторов по дате

№	ФИО	Дата	Число публикаций автора в РИНЦ	Индекс Хирша	Индекс Хирша без учета самоцитирований
ГИНЗБУРГ ВИТАЛИЙ ЛАЗАРЕВИЧ (новых работ нет, т.к. автор ушел из жизни)		30 мая 2016	648
		21 июня 2016	642	34	33
		4 июля 2016	642	34	33
МЕСЯЦ ГЕННАДИЙ АНДРЕЕВИЧ		30 мая 2016	820
		21 июня 2016	815	43	40
		4 июля 2016	815	43	40
ШИРОКОВ М.Е.		30 мая 2016	63
		21 июня 2016	62	9	7
		4 июля 2016	62	9	7

1.      5. Авторское участие.

   Понимая критичность ситуации, изложенной в предыдущих  пунктах,   в РИНЦ  принято решение привлечь  авторов к редакторской работе. Надо отметить, что РИНЦ в этом деле не первооткрыватель. По этому пути  идут и Web of Science  Core Collection и Scopus, создавая личные кабинеты и прочие инструменты для привлечения авторов к  качественному формированию  информационных контента. В РИНЦ начиная с 2011 г. авторы научных публикаций получили возможность зарегистрироваться и самостоятельно проверять и уточнять свои публикации и цитирование, на основании которых проводятся различные  расчеты.  Таким образом, ответственность за качество базы данных  разработчики как бы переложили на авторов, мотивируя тем, что кроме самих авторов никто качественно не может дать информация об их собственных статьях. Учитывая, что над  авторами публикаций еще и довлеет публикационная активность  как основной показатель в деятельности научных организаций,  авторы оказались в своего рода ловушке. Получается, что ученый не только должен вести свою научную работу, результаты которой  он отражает в публикациях, но и следить, в каких журналах  следует опубликоваться, отражены ли публикации   в РИНЦ,  отследить,   все ли  правильно отражено. Остается совсем уже немного, когда  авторы будут самостоятельно обеспечивать ввод информации в  базы данных, включая метаданные и полные тексты. Надо  только  решить, когда заниматься основной научной работой и почему  начинает  превалировать  аналог «самиздата» (бесплатный труд), когда   статьи уже опубликованы в научных журналах, часто  рецензируемых и престижных, совсем уж не изобилующих ошибками.

1.      6. РИНЦ считается некоммерческим проектом.  Но при этом, отдельные сервисы для научных организаций и издательств, якобы расширяющие возможности РИНЦ, могут предлагаться на платной основе. Например,  размещение монографий предлагается за дополнительную плату.  Почему это  становится заботой автора,  да еще  и за плату, воспринимается  с трудом.

Несколько странным выглядят и платные семинары.  Семинар «Использование РИНЦ и Science Index для анализа и оценки научной деятельности». Целью семинара является обучение специалистов научно-образовательных организаций практической работе с базой данных РИНЦ и информационно-аналитической системой Science Index, рис. 2.  Стоимость участия (регистрационный взнос) в семинаре на одного специалиста составляет 11800 рублей. В то же время  Thomson Reuters проводит бесплатные семинары по обучению работе с  различными сервисами Web of Science как в различных организациях, так и в  on-line, рис. 3.

Рис. 2. Приглащение на семинар   по работе с РИНЦ

 

     Далее приводим копию приглашения компании Thomson Reuters на семинары, которые проводятся бесплатно.  Следует отметить, что и  аудиторные семинары компания провидит бесплатно.

Компания Thomson Reuters рада пригласить Вас принять участие в очередной серии онлайн-семинаров, посвященных работе с платформой Web of Science и другими ресурсами для научной деятельности, которая пройдет в период с 15 по 23 сентября 2016 года. РАСПИСАНИЕ ( указано Московское время) 15 сентября, четверг 09:00 - 10:00 Платформа Web of Science - базовые возможности поиска. РЕГИСТРАЦИЯ 11:00 - 12:00  Поиск по автору и ResearcherID.  (Далее подробно по дням.)

Ознакомиться с подробной информацией и зарегистрироваться на интересующие Вас семинары Вы также можете на нашем сайте wokinfo.com/russian Все семинары бесплатны и проводятся на русском языке. Регистрация на семинары обязательна, рекомендуем пройти ее заранее. Видео-инструкцию для регистрации можно посмотреть здесь. По итогам семинаров участники смогут получить сертификаты (подробности на сайте). Следующая серия семинаров по ресурсам Thomson Reuters состоится в октябре 2016 года, следите за обновлениями на нашем сайте. Записи предыдущих семинаров доступны на нашем канале YouTube Ждем Вас на наших семинарах

Рис. 3. Информация Thomson Reuters о семинарах

    7. Недостоверные  ссылки на журналы. При поиске журнала, обнаружив необходимый  журнал, Вы можете прямо по ссылке перейти на электронную версию данного журнала. Но это не всегда так. У некоторых журналов ссылки являются не действительными или вообще отсутствуют, а это значит, что РИНЦ не следит и не обновляет информацию по журналам.

     8. Неполные сборники. Индексирование сборников статей отличается  выборочностью. Часто из сборника индексируется только часть статей. Принцип отбора остается для пользователей закрытым.

     9. Особенности механизма поиска.    Поиск в базе данных eLibrary осуществляется по стандартному набору логических операторов («И», «ИЛИ», «НЕ»). Словоформы включаются в запрос с помощью знака астериска с учетом лексики и грамматики русского языка (основного для поиска в базе данных eLibrary). Также существует еще один метод поиска, поиск с помощью подключенной опции запроса «Искать с учетом морфологии». Но одновременное использование в одном поисковом запросе оператора астериска и опции «Искать с учетом морфологии» может привести к нулевой выдаче.

    Поиск автора не составляет особого труда и выдает нам картинку, что общее число публикаций 64 (см.  выше). Но при подробном анализе обнаруживается, что статей найдено 66, а если делать анализ публикационной активности автора, который предлагает РИНЦ, то там снова оказывается число 64. Каким образом? Где и почему «прячутся» две статьи?

    Также при данном анализе мы можем увидеть, что работая в БЕН РАН,  автор опубликовала 9 статей. Но если использовать поиск через организацию, то там мы насчитываем всего 8 статей. Почему? Куда делась еще одна статья?

    Третий пример несоответствия. Вы видите, что число статей в российских журналах из перечня ВАК =36.  Но если открыть представленные статьи, то получиться, что их всего 35.

     Несоответствие данных подстерегает нас на каждом шагу. Примеры несоответствий, противоречий, выдаваемых системой, можно приводить «до бесконечности». Нет практически ни одного варианта перекрестной проверки данных, который не содержал бы противоречий, несоответствий и ошибок. Что делать? Как быть?  Сопровождающие РИНЦ слабо реагируют на столь очевидные  критические моменты. А вот   какая статистика  поступает к  принимающим решения во  властных структурах, остается  загадкой. 

     Заключение.

      Недостатки и замечания по работе в РИНЦ неоднократно анализировались в печати  [17, 18, 19]. В статье [20] сделаны серьезные замечания по работе РИНЦ, среди которых:  отсутствие описания алгоритмов расчетов;  включение в базу данных авторов, у которых отсутствуют публикации;  использование  специфических показателей, которые понятны только определенному кругу лиц, а их интерпретация может быть любой;  неоднозначность написания фамилий и имен авторов.

     Эти замечание актуальны и сегодня.  Почему разработчики и эксплуатирующие  РИНЦ не реагируют на данные  замечания, остается загадкой. А ведь это серьезные рекомендации для совершенствования системы.

    Тот факт,  что РИНЦ имеет столько недостатков, про которые его создатели знают, но не стремятся их исправлять, наводит на печальные мысли. Разночтение  аналитических данных ведет к неправильным оценкам не только и не столько  авторской публикационной активности (авторы как-нибудь переживут!), но состояния и развития   основных направлений науки. Эта печальная ситуация имеет  серьезные последствия, поскольку эти оценки  используются при распределении финансовых ресурсов, выборе победителей грантов и международных конкурсов,  на их основе пытаются ранжировать университеты и научные организации [21].  

      Руководство РИНЦ пытается объяснить, что такие  ошибки характерны и для других цитатных баз данных, но     для нас важен наш Российский индекс научного цитирования - РИНЦ, которой представлен теперь на платформе Web of Science (RSCI). Очень печально с такими  огрехами выходить на мировую арену.

     Кстати, РИНЦ и Russian Science Citation Index (RSCI) –  это не совсем  одно и то же, скорее не одно и то же. Соответственно и аналитические показатели  у этих продуктов  разные. А вот на какие  следует ориентироваться – не понятно.

       Таким образом, для того чтобы, РИНЦ стал объективной аналитической базой, который вызывает доверие, необходимо исправлять, а лучше устранять существующие серьезные недостатки. 

Список литературы

1. Институт научной информации США. -  URL:// ru.wikipedia.org (дата обращения 27.10.2016 )

2. Scopus  это: - URL:// dic.academic.ru/dic.nsf/ruwiki/1707959 (дата обращения 27.10.2016)

 3. Chinese Social Sciences Citation Index. – URL:// Wikipedia.org/wiki/Chenese_Social_Sciences_Index (дата обращения 23.11.2016) 

4. Masamitsu Negishi, Yuan Sun, Kunihiro Shigi. Citation Database for Japanese Papers: A new bibliometric tool for Japanese academic society. – Scientometrics, Vol.60, N 3 (2004), p. 333-351. – URL:// elibrary.lt/resursai/Uzsienio%20leidinia/Elibrary_ru/Index_nc/Publikacii/Negishi2004.pdf  (дата обращения 23.11.2016)

5. Российский индекс научного цитирования. – URL:// www.eLIBRARY.RU/defaultx.asp - 29 октября 2016 г. (дата обращения 29 октября 2016 )

6. Про Российский индекс научного цитирования (РИНЦ) - URL:// http://chetvericov.ru/nauka/pro-rossijskij-indeks-citirovaniya-rinc/#.V49t1dSyNHw (20.07.16)

7. Про Российский индекс научного цитирования (РИНЦ) - URL:// http://chetvericov.ru/nauka/pro-rossijskij-indeks-citirovaniya-rinc/#.V49t1dSyNHw (дата обращения 20.07.2016)

8. Российский индекс научного цитирования: успехи и проблемы. Демина Н., Еременко Г., Арефьев П. Дискуссия 26 января 2009 г.   - URL://  polit.ru/article/2009/01/26/rints/ - статья про РИНЦ (дата обращения 01.11.2016)

1. 9. Российский индекс научного цитирования: успехи и проблемы. Демина Н., Еременко Г., Арефьев П. Дискуссия 26 января 2009 г.   - URL://  polit.ru/article/2009/01/26/rints/ - статья про РИНЦ (дата обращения 01.11.2016)
2. 10. RSCI – Russian Science Citation Index . – URL:// elibrary.ru/rsci_about.asp (дата обращения 22.11.2016)
3. 11. Тихонов В.В. Историческая наука через призму Российского индекса научного цитирования (РИНЦ) – URL:// http://mkonf.iriran.ru/papers.php?id=42 (29.09.16)
4. 12. Конец слияниям. / Поиск.  - № 40 (1426) - 30 сентября 2016 г. – с.2
5. 13. Гражданский кодекс Российской Федерации (часть  четвертая) от 18.12.2006 №230-ФЗ. Глава 70. Авторское право. (Ред. от 03.07.2016). – URL:// www.consultant.ru  (дата обращения 24.10.2016 г.)
6. 14. ГОСТ 7.1-2003 библиографическая запись. Библиографическое описание. Общие требования и правила составления. – URL:// diss.rsl.ru/datadocs/doc_291wu.pdf
7. 15. Тихонов В.В. Историческая наука через призму Российского индекса научного цитирования (РИНЦ) //URL://http://mkonf.iriran.ru/papers.php?id=42 (дата обращения 29.09.16)
8. 16. Фрадков А. РИНЦ продолжает врать. Троицкий вариант. -  №187. – с.5 – 08.09.2015. – URL:// tev-science.ru/2015/09/08/risc _prodolzhaet_vrat/  (дата обращения 01.11.2016.)
9. 17. Цветкова В.А. Система цитирование: где зло, где благо / Научно-технические  библиотеки - №1 – 2015 г. – с. 18-22
10. 18. Цветкова В.А. О достоинствах и недостатках библиометрических показателей // Современные информационные технологии в профессиональной деятельности: труды международной научно-практической конференции «СИТ – 2014. / М., МФЮА, 2014 – 119 с. – с.103-108
11. 19. Рашид Хантемиров: РИНЦ: от примитивного мошенничества до растления малолетних. - URL:// http://alexnilogov.livejournal.com/757477.html (дата обращения 28.07.2016)
12. 20. Каленов Н.Е., Селюцкая О.В. О российском индексе цитирования.  - Новые технологии в информационно-библиотечном обеспечении научных исследований / Сборник научных трудов / П. П. Трескова. – 2010 г. - С. 200-217
13. 21. Дуглас А., Фаулер К. Гнусные цифры. //  Игра в цыфирь, или как теперь оценивают труд  ученого (сборник статей о библиометрике). – М.: МЦНМО, 2011. – 72 с. - С.52-69 (ISBN 978-5-94057-771-3)

Сведения об авторах

Калашникова Галина Валерьевна -  магистрант Московского государственного института культуры

e-mail: gal104@benran.ru

Цветкова Валентина Алексеевна - доктор технических наук, заместитель директора Библиотеки по естественным наукам РАН (БЕН РАН), Москва

e-mail: vats08@mail.ru

 

К оглавлению выпуска