Анализ юзабилити системы SCIENCE INDEX* [организация]

Автор: Галеев Ильдар Хамитович

Журнал: Образовательные технологии и общество @journal-ifets

Статья в выпуске: 4 т.18, 2015 года.

Бесплатный доступ

В работе рассматривается юзабилити системы SCIENCE INDEX* [организация]. Констатируется возникший конфликт интересов и необходимость его скорейшего разрешения.

Научная электронная библиотека elibrary.ru, юзабилити системы science index* [организация], конфликт интересов

Короткий адрес: https://sciup.org/14062661

IDR: 14062661

Текст научной статьи Анализ юзабилити системы SCIENCE INDEX* [организация]

Актуальность Научной Электронной Библиотеки (НЭБ) и системы Российского индекса научного цитирования (РИНЦ) для российской науки и образования общеизвестна [1]. Число зарегистрированных читателей НЭБ динамично растет, и если в конце августа 2007 года их было около 337 тысяч [2], то в конце августа 2015 года их стало уже более 1 миллиона 280 тысяч , то есть за 8 лет прирост зарегистрированных читателей составил около 1 миллиона.

Для различных задач анализа российской публикационной и издательской активности широко используется РИНЦ [3-5]. В [5] изложены результаты проведенного исследования полноты и интеллектуальности РИНЦ. В указанной работе показано, что полнота данных в РИНЦ о публикационной активности российских исследователей неудовлетворительна. Следовательно, утверждение (размещенное на сайте НЭБ , что РИНЦ “является также мощным аналитическим инструментом, позволяющим осуществлять оценку результативности и эффективности деятельности научно-исследовательских организаций, ученых,….” является дискуссионным, а оценки, получаемые с помощью РИНЦ, существенно искажены и не могут служить достаточным основанием для принятия практических решений. Для роста полноты данных в РИНЦ специалисты НЭБ предлагают использовать систему SCIENCE INDEX* [организация]. Необходимо отметить, что доступ к системе SCIENCE INDEX* [организация] осуществляется путем приобретения организацией лицензии и услуг по обслуживанию и поддержке авторизованных пользователей сроком на один год . Взимание платы за доступ к системе SCIENCE INDEX* [организация], по мнению автора, крайне дискуссионное по следующим основным причинам:

  • -    создание и развитие НЭБ было обеспечено российскими грантами (Российский Фонд Фундаментальных Исследований, Министерство Образования Российской Федерации и т.д.) [5];

  • - основной контингент пользователей РИНЦ – сотрудники российских организаций образования и науки, финансируемых из госбюджета, и, следовательно, плата за доступ к системе SCIENCE INDEX* [организация] вновь, в той или иной степени, осуществляется из госбюджетных средств;

  • -    функционирование РИНЦ целесообразно и оправдано только в случае, если формируемые в РИНЦ показатели публикационной активности объективны и достоверны, а это возможно лишь в случае, когда база описаний публикаций в РИНЦ достаточно полна;

  • -    достичь необходимой полноты базы описаний публикаций в РИНЦ возможно лишь при активном участии самих организаций-пользователей РИНЦ через своих представителей, осуществляющих добавление описаний публикаций в РИНЦ;

  • -    основной объем работы, направленной на рост полноты базы описаний публикаций в РИНЦ, осуществляется представителями организаций, оплативших доступ системе SCIENCE INDEX* [организация].

В 2015 году Казанский национальный исследовательский технологический университет (КНИТУ) приобрел у общества с ограниченной ответственностью (ООО) «НАУЧНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА (НЭБ)» уже вторую лицензию за доступ к системе SCIENCE INDEX* [организация] стоимостью 250 тысяч рублей. Следует отметить, что лицензия распространяется на общее количество авторов КНИТУ до 1 тысячи человек и на авторизованных пользователей КНИТУ общим количеством до 16 человек (сотрудников КНИТУ, осуществляющих добавление описаний публикаций в РИНЦ).

В сложившихся условиях остро встают вопросы качества самой системы SCIENCE INDEX* [организация] и поставляемой с ней документации, а также обоснованности стоимости лицензии за доступ к системе и срока ее действия.

Юзабилити системы SCIENCE INDEX* [организация]

Широко известно, что начиная с 2005 года, ежегодно во второй четверг ноября, отмечается Всемирный день юзабилити (World Usability Day) [6,7].Часто юзабилити (usability) «дословно переводят с английского языка как «практичность, удобство и простота использования»». «Якоб Нильсен (Jakob Nielsen) определяет юзабилити как: «...качество работы пользователя в некоторой интерактивной среде (web-сайт, программа и пр.)»». Само понятие usability четко не определено и продолжает расширяться и уточняться. Например, с ним связывают следующие категории: полезность; удобство использования не только для подготовленных компьютерных специалистов, но и для конечных пользователей, не имеющих специальной подготовки в области информационных технологий; устойчивость к ошибкам; легкость изучения; удовлетворенность; простые и естественные диалоги и возможность их ведения на языке пользователя; предупреждение и сообщение об ошибках; руководство для пользователя; краткость процедур достижения поставленных пользователем целей (решения поставленных пользователем задач) и т.д. Исследования по юзабилити активно ведутся как в России [8], так и за рубежом. Проводятся соответствующие международные конференции, посвященные проблемам оценки юзабилити [9]. Все это обусловлено бурным ростом электронных ресурсов различного целевого назначения, сопровождающее развитие глобального информационного общества.

В системе SCIENCE INDEX* [организация] добавление библиографического описания публикации осуществляется в 2 шага: “ Для создания главы в книге или статьи в сборнике трудов конференции необходимо сначала завести саму книгу или сборник трудов конференции соответственно. Затем, после подтверждения создания книги или сборника можно вводить главы или статьи в сборниках, выбрав из списка вновь созданную книгу или сборник трудов

Возможно, указанная 2-х шаговая процедура удобна разработчикам системы SCIENCE INDEX* [организация], но она крайне неудобна для авторизованных пользователей, осуществляющих основную работу по добавлению библиографических описаний публикаций в РИНЦ. Следует отметить следующие неудобства:

  • -    на первом шаге при описании, например сборника трудов конференции, авторизованный пользователь не знает, был ли уже описан кем – то до него описываемый сборник трудов конференции. Дублирование описаний случается достаточно часто, когда происходит добавление описаний популярных в России конференций. Автор статьи неоднократно сталкивался с такими ситуациями, например, при описании трудов Всероссийских научно-методических конференций серии "Телематика" http://tm.ifmo.ru/. К сожалению, отсутствуют сервисы, препятствующие дублированию работ авторизованных пользователей, то есть труд пользователей используется нерационально;

  • -    в соответствии с существующей процедурой добавления описаний после каждого шага происходит проверка введенного описания операторами системы SCIENCE INDEX* [организация]. Как показал опыт проведенной автором работы по добавлению описаний, время, отведенное для проверки (3 недели, по словам службы поддержки), часто нарушается и в первой половине текущего года достигало в ряде случаев 2-х месяцев. Таким образом, практически нельзя говорить о работе с системой SCIENCE INDEX* [организация] в режиме online. Как следствие возникает естественный вопрос: почему университет, заплативший 250 тысяч рублей, не может просто передать список описаний публикаций (состоящий из существенно менее 10 тысяч описаний), подготовленный в текстовом процессоре Word, в ООО НЭБ для последующей загрузки описаний в базу РИНЦ силами сотрудников ООО НЭБ, и какова разумная (экономически обоснованная) цена загрузки одного описания ;

  • -    отсутствие диалога с операторами системы SCIENCE INDEX* [организация] в режиме реального времени существенно затрудняет сам диалог, особенно в случаях, когда в процессе добавления находятся несколько десятков описаний. Возникает необходимость следить за статусом каждого описания публикаций. Предусмотрено 6 различных статусов, в одном из которых может находиться описание публикации. К сожалению, достаточно часто оказывается, что одно и то же описание находиться одновременно в нескольких списках различных статусов, например: “отправлено на регистрацию” и “подтверждено” или “отклонено”, что противоречит здравому смыслу и иногда приводит к ненужному повторному вводу описания и ненужной проверки этого описания;

  • -    качество проверки и ответов, осуществляемых операторами системы SCIENCE INDEX* [организация], достаточно часто низкого уровня, например, на рис. 1 приведен ответ оператора: “ Как представитель организации, Вы можете добавлять, или уточнять только описания публикаций сотрудников Вашей организации или публикаций, цитирующих работы сотрудников Вашей организации. Проверьте идентификаторы авторов в описании публикации и цитируемых источников ” на попытку автора (он же представитель организации) добавить следующее описание публикации: “Ildar GALEEV Architecture of Integrated Learning Environment //Proceedings of the International Conference on Information Technologies

    (InfoTech-2009) 17-20 September 2009, Bulgaria, P.42 – 50. – ISBN 978-954-438-771-6”, в котором все запрашиваемое есть. Очевидно, что разумно интерпретировать этот ответ оператора без дополнительного к нему обращения просто невозможно. Нередко, оператор системы, без видимых на то причин, запрашивает у представителя организации отсканированные обложку трудов со всеми выходными данными, полный текст самой публикации с пристатейным списком ссылок. Это наглядно свидетельствует о том, что реального, фактического контроля описываемой публикации (с обращением операторов в какие-то библиотеки и каталоги) не проводиться, то есть сам контроль носит скорее формальный характер и, следовательно, ценность такого контроля относительна.

Рис.1 Ответ оператора системы на попытку добавления описания публикации

Указанные выше неудобства работы с системой SCIENCE INDEX* [организация] далеко не исчерпывают ее недостатки. В системе недостаточно качественно реализованы основные функции:

  • -    разбора библиографического описания публикации;

  • -    поиска;

  • -    связывания ссылок на публикацию с самой публикацией.

Пример, некорректного разбора библиографического описания публикации системой SCIENCE INDEX* [организация] представлен на рис. 2 – рис. 4. На рис. 2 представлено начало процесса добавления библиографического описания публикации: “И.Х. Галеев, Л.Н. Абуталипова, О.В. Колосов, А.И. Филяев. Форум «Образовательные технологии и общество» – эффективный ресурс единого образовательного информационного пространства СНГ // Материалы Всероссийской научно-методической конференции Телематика’2004, Т.2, С.-Петербург, 7-10 июня 2004 г. – С.464-465.”

Рис.2 Начало добавления библиографического описания публикации

После нажатия кнопки “ Добавить ” программа разбора библиографического описания публикации системы SCIENCE INDEX* [организация] формирует следующий результат (Рис. 3).

Рис. 3 Результат действий системы SCIENCE INDEX* [организация]

Как указывалось выше, добавление библиографического описания публикации осуществляется в 2 шага. Если, процесс добавления находиться на первом шаге, то действия системы просто неприемлемы. Система в обязательное поле “Тип публикации” устанавливает значение “книга или сборник статей”, хотя в рассматриваемом случае осуществляется добавление сборника трудов конференции. Система, по умолчанию, всегда устанавливает в это поле указанное значение, что неудобно по следующим причинам:

  • -    обычно пользователь доверяет действиям любой программной системы;

  • -    если поле заполнено каким-то значением, то это притупляет внимание пользователя, и пользователь не всегда проверяет, нужным ли значением заполнено поле, и это часто приводит к ошибкам.

Рациональнее системе не заполнять это обязательное поле и если пользователь его не заполнит сам, то система должна сообщать ему об этом перед отправкой web-формы на проверку операторам системы.

Кроме того, система в поле “ Заглавие на русском языке ” вводит название конкретного доклада, хотя ни о каком докладе на первом шаге нет и речи. Само наименование рассматриваемого поля “ Заглавие …” вызывает естественный вопрос -“ Заглавие… “ ЧЕГО? Эта неопределенность возникает из-за того, что при продолжении заполнения web-формы для добавления трудов конференции (Рис. 4) необходимо заполнить обязательное поле “ Название конференции ”.

Также система сама заполняет поле “ Авторы ”, что при дополнении библиографического описания трудов конференции является грубой ошибкой, и пользователь обязан очистить это поле. При этом можно заметить, что удалить сразу весь список авторов не удается, приходиться выделять и удалять каждого автора по отдельности.

В целом размер рассматриваемой web-формы явно избыточен, ее невозможно заполнить, не используя полосу прокрутки, что мешает ее целостному восприятию и проведению удобного контроля заполненной формы пользователем. Web-форма содержит много необязательных полей. Поле “ Число страниц ” не отмечено как обязательное, в то же время web-форма, в которой это поле не заполнено, отклоняется (не пропускается). Как правило, большинство авторов сохраняют ксерокопии своих публикаций и ведут список своих публикаций в соответствии с ГОСТом. В ГОСТе при описании конкретной публикации в трудах конференции не предусмотрено поле “общее число страниц трудов конференции“. Таким образом, если автор не сохранил саму книгу трудов конференции (не знает общее число страниц в книге), то, даже имея всю полную, соответствующую ГОСТу информацию о своей публикации, он не может ее добавить в список своих публикаций.

Рис. 4 Результат действий системы SCIENCE INDEX* [организация] (продолжение)

Обязательное поле “ Разделы тематического рубрикатора ” (Рис. 4) адекватно заполнить при добавлении трудов конференции крайне проблематично. Например, в аннотации к 4-му тому трудов Международной молодежной научной конференции “XXII Туполевские чтения (школа молодых ученых) ” указывается: “В сборнике представлены доклады, посвященные актуальным вопросам и проблемам развития аэрокосмических технологий, энергомашиностроения, приборостроения, информационных, инфокоммуникационных, радиоэлектронных технологий, а также социально-экономических аспектов создания аэрокосмической техники“. Определить один раздел тематического рубрикатора в рассмотренном примере очевидно нельзя.

Список приведенных и проиллюстрированных претензий к функции разбора библиографического описания публикации системы SCIENCE INDEX* [организация], безусловно, может быть продолжен.

Юзабилити (usability) системы SCIENCE INDEX* [организация] во многом зависит от качества реализованной в ней функции поиска. На рис. 5 - рис. 7 наглядно иллюстрируется низкое качество этой функции на примере добавления библиографического описания следующей публикации: “Галеев И.Х. Проектирование интеллектуальных сред обучения // Проблемы техники и технологий телекоммуникаций ПТиТ-2014: Материалы XV Международной научно-технической конференции. Оптические технологии в телекоммуникациях ОТТ-2014: Материалы XII Международной научно-технической конференции, - Т. 2. Казань, 18 - 21 ноября 2014 года. Казань: Изд-во Казан. гос. техн. ун-та, 2014.- С.392 - 394. ISBN 9785-75792007-8, ISBN 9785-7579-2005-4” (рис. 5).

Рис.5 Начало добавления библиографического описания публикации

Сами труды конференции уже добавлены в РИНЦ (Рис. 6)

Рис. 6 Существующая в РИНЦ информация о трудах конференции

После нажатия кнопки “Добавить” (рис. 5) система предлагает пользователю новую для заполнения форму, в которой необходимо заполнить поля “Название сборника” и “Год издания” и затем нажать кнопку “Поиск” (рис. 7) . Естественно, во избежание описки, название сборника даже не набирается, а копируется в соответствующее поле. Результат поиска наглядно представлен на рис. 7, и он неуспешен.

Рис. 7 Неуспешный результат поиска существующих в РИНЦ трудов конференции

Оказалось, что рекомендуется вводить не полное название, а его фрагмент. Как выбирать фрагмент названия, не понятно, и при каком выбранном фрагменте названия поиск будет успешным, заранее угадать нельзя. При этом список найденных сборников может быть значительным, и требуемый сборник будет необходимо вновь выбирать из предложенного системой списка. Естественно такое качество поиска не может вызывать у пользователя комфортных ощущений от работы с системой.

Качество реализации функции связывания ссылок на публикации с самими публикациями иллюстрируется на рис. 8 - рис. 11. На рис.8 представлен пристатейный список добавляемой публикации.

Рис. 8 Пристатейный список ссылок добавляемой публикации

Следует подчеркнуть, что все указанные публикации описаны в РИНЦ, включены в список публикаций автора, и каждая из публикаций цитируется неоднократно, то есть процесс связывания должен осуществляться системой полностью автоматически. На рис. 9 представлен результат связывания. Автоматически системой SCIENCE INDEX* [организация], связаны 2 ссылки из четырех (связанные ссылки отмечены знаком *).

Рис. 9 Результат автоматического связывания

Пользователю необходимо проделать ряд операций, чтобы продолжить процесс связывания. Для связывания необходимо выделить публикацию и нажать кнопку ID, запускающую поиск, и в случае удачного результата нажать на найденное описание. В случае неудачного поиска (рис. 10) приходиться вносить изменения в библиографическое описание ссылки.

Рис. 10 Результат неудачного поиска

В рассматриваемом примере, для успешного поиска и последующего связывания в библиографическое описание учебного пособия, перед его названием

- fl *

приш лось вставить им я первого автора (Рис. 11).

Рис. 11 Результат требуемого связывания с участием пользователя

Особо остро проблема связывания возникает в случаях, когда в пристатейных списках указываются ссылки на зарубежные публикации, оформленные чаще всего не по российскому ГОСТу. Система SCIENCE INDEX* [организация] не обеспечивает их автоматическую обработку, приходиться указанные ссылки корректировать с целью установления соответствия российскому ГОСТу.

Таким образом, для добавления библиографических описаний публикаций пользователю системы SCIENCE INDEX* [организация] достаточно часто приходиться выполнять целый ряд операций, то есть не обеспечивается краткость процедур достижения поставленных пользователем целей (решения поставленных пользователем задач).

Заключение

Российские образование и наука заинтересованы в развитии Научной Электронной Библиотеки eLibrary.Ru (НЭБ) и системы Российского индекса научного цитирования (РИНЦ). Для обеспечения адекватности и полноты РИНЦ НЭБ предлагает использовать систему SCIENCE INDEX* [организация]. Как любая частная организация, ООО НЭБ заинтересована, прежде всего, в извлечении прибыли от своей деятельности, чем и обусловлена высокая стоимость лицензии на систему. Проведенный в статье анализ юзабилити системы SCIENCE INDEX* [организация] наглядно показал, что система нуждается в существенной доработке. Возникший конфликт интересов между ООО НЭБ и организациями, приобретающими лицензию на использование системы SCIENCE INDEX* [организация], нуждается в скорейшем разрешении.

Список литературы Анализ юзабилити системы SCIENCE INDEX* [организация]

  • Галеев И.Х. Мониторинг функционирования и развития НЭБ//Труды 17-й Всероссийской научно-методической конференции Телематика’2010, Том 1, С.-Петербург, 21-24 июня 2010 г. -С. 41 -44.
  • Галеев И.Х Проблемы формирования единого информационно -образовательного пространства//Сборник трудов 5-й ежегодной международной научно-практической конференции «Инфокоммуникационные технологии Глобального информационного общества». 5-6 сентября 2007 года. Казань: Изд-во Фолианть -С.68-70.
  • И.Х. Галеев Динамика развития международного электронного журнала «Образовательные технологии и общество»//Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2007. -V.10. -№1. -C.315-328. -ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
  • Галеев И.Х., Галеева Н.Х. Опыт анализа публикационной и издательской активности с использование РИНЦ//Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2012. -V.15. -№1. -C.594-608. -ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
  • Галеев И.Х. Оценка полноты и интеллектуальности РИНЦ//Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2014. -V.17. -№3. -C.583-602. -ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
  • Всемирный день юзабилити. URL: http://www.calend.ru/holidays/0/0/2553/(дата обращения: 09.09.15)
  • Боброва Л.Н., Никулова Г.А. Анализ взаимосвязи факторов usability открытых образовательных сетевых ресурсов для поддержки обучения и самообучения//Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2015. -V.18. -№2. -C.653-674. -ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
  • Usability в России. URL: http://usability.ru/(дата обращения: 09.09.15)
  • Galeev, I., Chepegin, V., Sosnovsky, S. The East European Sub-group of International Forum of Educational Technology and Society: Problems and the Ways to Solve Them//In Proceedings of 9th International Conference on Human-Computer Interaction (Poster Session: Abridged Proceedings), New Orleans, Louisiana, USA, August 5-10, 2001, pp. 260-262.
Еще
Статья научная