17.10.2018 г.
Главная arrow Главная arrow Заявление трех академий наук о методах оценки исследователей и исследовательских программ





Заявление трех академий наук о методах оценки исследователей и исследовательских программ Печать E-mail
Автор - публикатор   
28.05.2018 г.
Заявление трех академий наук (Французской академии наук, Немецкой академии  «Леопольдина» и Лондонского Королевского научного общества) о рекомендуемых методах оценки исследователей и исследовательских программ1

1. Введение

Быстрый рост международного научного сообщества и желание обеспечить эффективное использование финансовых средств, которые выделяются на поддержку научных исследований, без сомнения, заставляют уделять особое внимание механизмам контроля и отчётности при оценке исследователей, научно-исследовательской деятельности и исследовательских проектов (в т. ч. при назначении на ту или иную должность и при принятии решений о выдачи грантов и премий). Учитывая, что сегодня существует большое количество различных процедур, которые применялись для оценки научных исследований в разное время, необходимо сформулировать нормы оценки научного исследования. На сегодняшний день лучшим методом оценки исследователей является проводимое в соответствии со строгими стандартами рецензирование научной работы учеными-специалистами, работающими в той же области. Цель данного постановления дать рекомендации относительно методов оценки научной деятельности отдельных исследователей.

Оценка исследователей компетентными экспертами должна опираться как на публикации (журнальные статьи, обзоры, книги, главы из книг, патенты, и т.п.), так и на другие источники, которые могут быть оценены с точки зрения научной значимости (участие в конференциях, награды, публичные выступления, рецензии на работы коллег, обнародованные данные исследований, семинары и т.п.). Поскольку тщательная оценка содержания и качества научных исследований экспертами требует большого количества времени и денежных затрат, число рецензирований должно быть ограничено. Более того, вышеуказанные экспертизы должны проводиться исключительно тогда когда это действительно необходимо, в частности при принятии решения о назначении на ту или иную должность или финансировании крупных проектов.

С увеличением числа рецензий и появлением электронных баз данных в открытом доступе, дополнительным инструментом оценки становится использование библиометрических данных.  Тем не менее зачастую экспертные комиссии чрезмерно

1      Опубликовано:   https://rovalsocietv.org/topics-policv/publications/2017/roval-societv-leopoldina-
and-academie-des-sciences-call-for-more-support-for-research-evaluators/8 декабря                                                                                                   2017;

https://www.leopoldina.org/uploads/tx leopublication/2016 Joint Statement on scientific publicatio ns.pdf; http://www.academie-sciences.fr/pdf/rapport/avislll217.pdf


полагаются на библиометрические показатели при оценке значимости работ, что может приводить к поверхностному, упрощенному и ненадежному оцениванию. Таким образом, неправильное использование библиометрических показателей при оценке научных исследований стало причиной серьезной озабоченности.

Особое беспокойство вызывает повсеместное использование импакт-факторов журналов, которые скорее являются оценкой самого журнала, нежели оценивают научную значимость опубликованной в нем статьи, о чем неоднократно упоминали, в том числе в Сан-Францисской Декларации (San Francisco Declaration on Research Assessment -DORA ). В журналах с низким импакт-фактором могут быть опубликованы выдающиеся и оригинальные работы, тем не менее, верно и обратное. И все же сегодня при оценке научной значимости исследований во многих областях науки на импакт-факторы опираются как на основополагающие показатели качества публикаций. Кроме того, вызывает растущее беспокойство, что преувеличенное значение импакт-фактора оказывает на исследователей давление и побуждает их отклоняться от нормальной практики в ходе исследований и «играть» с наукометрическими показателями, что мы и наблюдаем последние два десятилетия. Это особенно характерно для тех отраслей науки, в которых импакт-факторам придают чрезмерное значение. Что касается так называемой «альтернативной наукометрии» (новый вид импакт-оценки), нельзя не заметить, что, хотя она и включает в себя важные и ранее не учитываемые факторы, все-таки эта система оценки обладает некоторыми из тех же недостатков, что и существующая наукометрия, основанная на цитировании.

Существует серьезная опасность, что чрезмерное внимание к библиометрическим показателям не только будет мешать верно отразить качество исследований, но и скроет от научного сообщества исследования выдающихся ученых, которые работают вне основных направлений (mainstream). Подобная практика скорее может сформировать тенденцию к продвижению тех исследователей, которые следуют модным направлениям; те же, кто оригинален и чья работа может привести к развитию совершенно новых направлений научных исследований, в этом случае могут остаться незамеченными. Более того, чрезмерное доверие к индексам цитируемости как к показателям качества может стать причиной формирования групп исследователей, которые «накручивают» показатели друг друга с помощью перекрестного цитирования (другими словами, возможно появление «клубов любителей цитирования»). Таким образом, важно сконцентрироваться на правильных методах оценки, которые способствуют продвижению качественных и инновационных исследований.

2 https://sfdora.org/read/


2. Принципы правильной оценки исследователуи и исследовательской деятельности

Далее мы кратко изложим существенные критерии оценки научной деятельности исследователей.

2.1 Выбор процедур оценки и рецензентов Выбор рецензентов

В связи с тем, что рецензирование научного исследования учеными-экспертами, работающими в той же области, является неотъемлемой процедурой, с помощью которой подтверждается качество и оригинальность работы, важно убедиться, что рецензенты также соответствуют самым высоким стандартам и являются ведущими специалистами в своей отрасли. При выборе рецензентов, прежде всего, необходимо обращать внимание на их научный авторитет и безупречную репутацию. Их достижения должны быть широко признаны, а научная биография и работы должны находиться в свободном доступе. Такая открытость обеспечит объективность и прозрачность оценки.

Процедура оценки

Учитывая, что число высококвалифицированных рецензентов ограничено, число рецензий также должно быть уменьшено, чтобы не нагружать рецензентов сверх меры.
Возникло мнение что за последние десятилетия различными организациями и институтами     было     проведено     чрезмерно        большое     количество     экспертиз.

Высокопрофессиональные рецензенты все с меньшей охотой соглашаются тратить свое время на малопродуктивную процедуру оценки научных работ. Поэтому важно сократить число таких экспертиз и проводить рецензирование только в том случае, когда дело касается ключевых вопросов, разрешению которых может способствовать только экспертное мнение. Обычно ученые посвящают время оценке работ коллег, считая это своей обязанностью перед научным сообществом. К сожалению, зачастую научное сообщество злоупотребляет временем и силами рецензентов, не принимая во внимание то, что необходимо ценить значимость качественного рецензирования и осознавать, что возможности рецензентов не безграничны.

Необходимо также установить ограничение на количество страниц для всех материалов, предоставляемых для рецензирования. Оценка чрезмерно объемного материала крайне непродуктивна, т.к. рецензентам сложно сконцентрировать свое внимание на самых основных положениях.


Нельзя забывать, что необходима ротация рецензентов с целью избежать распространения чрезмерного влияния отдельных специалистов в данной научной области. Члены экспертной комиссии должны быть представителями различных дисциплин и научных областей. Главным критерием при выборе рецензентов должна оставаться их научная квалификация, но тендерные и территориальные критерии также могут учитываться при выборе рецензентов.

2.2 Этические нормы и обязанности рецензентов

Рецензенты обязаны открыто заявлять о возможных конфликтах интересов перед процедурой рецензирования. Следует неукоснительно соблюдать конфиденциальность рецензий и дискуссий на собраниях экспертной комиссии с целью защитить как рецензентов, так и ученых, чьи работы оцениваются.

Зачастую рецензенты осваивают процедуру оценки самостоятельно опытным путем, однако необходимо установить четкие методы оценки научных работ. Знания о методах и подходах к рецензированию должны стать частью компетенции исследователей, равно как и следование этическим принципам. Рецензенты должны осознавать, что существует опасность «неосознанной предвзятости». Кроме того, следует разработать, насколько это возможно, эквивалентные стандарты и процедуры оценки для разных научных дисциплин.

Процедуры оценки должны также включать механизмы по установлению предвзятых или несправедливых рецензий и исключения подобных рецензий из рассмотрения.

2.3 Критерии оценки

При оценке исследования рецензент обязан в первую очередь обращать внимание на научное содержание, качество и уровень научной работы. Особое внимание при рецензировании необходимо уделять тем работам (научным статьям или книгам), которые автор исследования расценивает как наиболее важные. Само по себе количество публикаций не может быть главным критерием оценки.

При оценке результатов исследования не должны учитываться импакт-факторы журналов. Такие библиометрические показатели, как широко используемый индекс Хирша или число цитирований (на одну статью или за год), могут быть использованы при оценке только теми научными экспертами, которые способны оценить значимость этих показателей в контексте данной научной дисциплины. Следует указывать источники библиометрических показателей и тщательно проверять эти источники с целью обеспечить   корректность   указанных      показателей   путем   сравнения   их   с   другими


источниками библиометрических данных. Использование библиометрических показателей может только дополнять оценку экспертной комиссии, но не заменять ее.

Кроме того, должно быть устранено использование библиометрических показателей для оценки работы начинающих ученых, ввиду того, что это может подталкивать их к выбору хорошо разработанных или модных областей исследования, вместо того, чтобы пытаться отвечать на современные научные вызовы.

При рассмотрении патентов следует делать четкое разграничение между такими стадиями получения патента, как подачи заявки, выдача патента и лицензирование.

Получение ученым гранта на проводимое исследование не должно расцениваться как единственный или доминирующий фактор при оценке данного исследования. Основными критериями должны оставаться качество, оригинальность и важность данного научного исследования.

3. Краткое изложение основных рекомендаций

Оценка научной работы требует рецензирования признанными экспертами, которые должны обладать высокими этическими стандартами и обращать внимание, прежде всего, на интеллектуальные достоинства и научные достижения оцениваемого исследователя. В основе экспертной оценки не должны лежать библиометрические данные. Суждения рецензентов при оценке исследования должны быть непредвзятыми и хорошо аргументироваными. Переоценка библиометрических показателей может нанести серьезный вред оригинальности и творческому потенциалу работы. Оценка научной работы рецензентами должна считаться ценным вкладом в развитие науки.

п
October 27, 217

Statement by three national academies (Academie des Sciences, Leopoldina and Royal Society) on good practice in the evaluation of researchers and research programmes

 
1.   Introduction

The large increase in the size of the international scientific community, coupled with the desire to ensure the appropriate and efficient use of the substantial funding devoted to supporting scientific research, have understandably led to an increased emphasis on accountability and on the evaluation of both researchers, research activities and research projects (including recruitment, as well as the evaluation of grants and prizes). Given that there is a large diversity of procedures currently used in evaluations which have accumulated over time, it is now necessary to provide some guidelines for best practice in the evaluation of scientific research. Peer review, adhering to strict standards, is widely accepted as by far the best method for research evaluation. In this context, the present statement focuses on the evaluation of individual researchers.

Such an assessment by competent experts should be based on both written (journal articles, reviews, books, book chapters, patents, etc.) and other contributions and indicators of esteem (conference presentations, awards, public engagement activity, peer review activity, datasets shared, seminars, etc.). As a careful evaluation of scientific content and quality by experts is time consuming and costly, the number of evaluations should be limited and only undertaken when necessary, in particular for decisions on competitive academic appointments or funding large projects.

With the increase in the number of evaluations and the emergence of easily accessible electronic databases, the use of bibliometric measures has become an additional tool. However, there has been too much reliance on bibliometric indices and indicator-based tools as measures of performance by many evaluation committees and exercises, leading to the

1


danger of superficial, over-simplified and unreliable methods of evaluation. This bad practice involving the misuse of metrics has become a cause for serious concern.

Of particular concern are the widely used journal impact factors (IF) which are an estimate of the impact of the journal itself rather than the intrinsic scientific quality of a given article published within it - a point that has been made on several occasions and notably in the San Francisco Declaration(1). Outstanding and original work can be found published in journals of low impact factor and the converse is also true. Nevertheless, the use of impact factors as a proxy for the quality of a publication is now common in many disciplines. There is growing concern that such "IF pressure" on authors has increased the incidence of bad practice in research and the 'gaming' of metrics over the past two decades, in particular in those disciplines that have over-emphasized impact factors. Also, the so-called 'altmetrics' - a new form of impact measure - while adding an important and hitherto overlooked dimension to the measurement of impact, suffers from some of the same weaknesses as the existing citation-based metrics.

There is a serious danger that undue emphasis on bibliometric indicators will not only fail to reflect correctly the quality of research, but may also hinder the appreciation of the work of excellent scientists outside the mainstream; it will also tend to promote those who follow current or fashionable research trends, rather than those whose work is highly novel and which might produce completely new directions of scientific research. Moreover, over-reliance on citations as a measure of quality may encourage the formation of aggregates of researchers (or "citation clubs") who boost each others citation metrics by mutual citation. It thus becomes important to concentrate on better methods of evaluation, which promote good and innovative scientific research.

2. Principles of good practice in the evaluation of researchers and research activities

Essential elements for the evaluation of researchers can be summarized as follows: 2.1. Selection of evaluation procedures and evaluators

Evaluators

Since the evaluation of research by peers is the essential process by which its quality and originality can be estimated, it is crucial to ensure that the evaluators themselves adhere to the highest standards and are leaders in their field. The selection of evaluators should be based on their scientific excellence and integrity. Their scientific achievements should be widely recognised and their curriculum vitae and research achievements should be easily accessible. Such an open process will ensure the credibility and transparency of the evaluations.


Evaluation processes

Since the number of excellent evaluators is limited, the number of evaluation processes should be reduced in order to avoid over-use of first-class evaluators. There is a concern that different agencies and institutions have carried out an excessive number of routine evaluations over the last decades, putting too much pressure on the best evaluators. First-rate evaluators are increasingly reluctant to commit to time-consuming and unproductive evaluation exercises. It is of great importance to reduce the number of evaluations and to confine them to the core issues of research that only peers are able to judge. Evaluators provide a "free resource" as part of their academic duty and this resource is over-exploited. Evaluating bodies must recognise that good evaluation is a limited and precious resource.

A page limit for submissions to all evaluation processes is needed. Excessively long submissions are counter-productive: evaluators need to be able to concentrate on the essentials, which is problematic with very lengthy submissions.

Rotation of evaluators is essential to avoid excessive or repeated influence from the same opinion leaders. The panel of experts should be adapted to reflect the diversity of disciplines or scientific domains. Although gender and geographical distribution will be factors in the selection of evaluating groups, excellence must remain the primary criterion.

2.2.         Ethical guidelines and duties of evaluators

Evaluators should clearly declare possible conflicts of interest before the evaluation process. The confidentiality of expert reviews and of the discussions in the evaluation panel must be strictly respected to protect both the evaluators and the evaluated persons.

While reviewers have often learned the practice of evaluation by experience and self-teaching, this competence cannot be taken as given. Methods and approaches to evaluating and reviewing should become part of all researchers' competence as should the ethical principles involved. Evaluators should be made aware of the dangers of "unconscious bias". There should, as far as possible, be equivalent standards and procedures for all research disciplines.

The evaluation procedures must also include mechanisms to identify the cases of biased or otherwise inappropriate reviews and exclude them from consideration.

2.3.         Evaluation criteria

Evaluations must be based under all circumstances on expert assessment of scientific content, quality and excellence. Publications that are identified by the authors as their most important work, including major articles and books, should receive particular attention in the evaluation. The simple number of publications should not be a dominant criterion.

Impact factors of journals should not be considered in evaluating research outputs. Bibliometric indicators such as the widely used H index or numbers of citations (per article


or per year) should only be interpreted by scientific experts able to put these values within the context of each scientific discipline. The source of these bibliometric indicators must be given and checks should be made to ensure their accuracy by comparison to rival sources of bibliometric information. The use of bibliometric indicators should only be considered as auxiliary information to supplement peer review, not a substitute for it.

The use of bibliometric indicators for early career scientists must in particular be avoided. Such use will tend to push scientists who are building their career into well-established/fashionable research fields, rather than encouraging them to tackle new scientific challenges.

For patents a clear distinction should be made between the stages of application, delivery and licensing.

Success in raising research grant funding should, where relevant, be only one and not the dominant factor in assessing research performance. The main criteria must be the quality, originality and importance of the scientific research.

3. Short summary of the main recommendations

Evaluation requires peer review by acknowledged experts working to the highest ethical standards and focusing on intellectual merits and scientific achievements. Bibliometric data cannot be used as a proxy for expert assessment. Well-founded judgment is essential. Over­emphasis on such metrics may seriously damage scientific creativity and originality. Expert peer review should be treated as a valuable resource.

Последнее обновление ( 28.05.2018 г. )
 
« Пред.   След. »
Последние статьи
 
Экспорт новостей