Національна система дослідників: чому новий рейтинг учених стимулюватиме не науку, а її імітацію

Кабінет міністрів України запускає масштабну реформу — Національну систему дослідників (НСД). Ідеться про створення єдиної державної електронної платформи, яка має автоматично збирати інформацію про досягнення українських вчених та формувати відкритий рейтинг дослідників за спеціальною методикою. Тим, хто опиниться на вершині рейтингу, держава платитиме стипендії — на це обіцяють виділяти майже 382,6 млн грн щороку.

Декларована мета цього нововведення виглядає цілком шляхетно: уряд прагне виявити й підтримати сильних дослідників, які є конкурентоспроможними на світовому рівні та роблять вагомий внесок у розвиток науки.

Проте диявол ховається в деталях: автоматизована система оцінювання здобутків учених побудована так, що вимірюватиме не стільки науковий внесок, скільки формальні кількісні показники — кількість паперів, балів та публікацій.

Свого часу я писав про ризик перетворення української науки на імітацію та карго-культ через стимулювання формальних кількісних показників. Схоже, у Міністерстві освіти і науки сприйняли це застереження не як тривожний сигнал, а як покрокову інструкцію.

У чому проблема нової методики оцінювання та рейтингування вчених?

Суперечності в документах: «ціна» НСД та міжнародний досвід

Пояснювальна записка до постанови уряду щодо Національної системи дослідників запевняє, що це нововведення не потребує додаткового фінансування з державного бюджету. Насправді ж стипендії коштуватимуть майже 382,6 млн грн на рік, а створення рейтингів — іще близько 3 млн грн. Звідки ж візьмуть ці кошти? Їх перерозподілять із державних програм — «Державні премії, стипендії та гранти…» та «Підтримка пріоритетних напрямів досліджень…». Тобто додаткових витрат із бюджету справді немає, проте гроші забирають із фінансування досліджень, яке й так мізерне.

Інша суперечність стосується «міжнародного досвіду». МОН заявляє, що одним із головних принципів методики формування рейтингу є «відповідність міжнародним практикам дослідницької оцінки». Але провідні міжнародні документи з реформи оцінювання радять прямо протилежне тому, що робить НСД. Зокрема Організація економічного співробітництва та розвитку (ОЕСР) рекомендує не застосовувати рейтингів і «турнірних таблиць» в оцінюванні дослідницької діяльності.

Пояснювальна записка обіцяє, що рейтинг забезпечить «об’єктивне визначення» результатів наукової діяльності. Проте тут виникає базова суперечність із законодавством. Згідно із Законом «Про наукову і науково-технічну діяльність», науковий результат — це «нове наукове знання». Але НСД рахує лише форми представлення наукових результатів: статті, монографії тощо. В реальності публікація може не містити жодного нового знання, якщо це плагіат чи псевдонаукові висновки. Може бути кілька статей для представлення одного результату, може бути декілька результатів в одній статті.

Орієнтація оцінювання на суто кількісні форми фіксації несе й системні ризики. У свіжій статті в Science описано масштабний онлайн-ринок академічних маніпуляцій. Дослідники зібрали понад 18 тисяч оголошень від так званих паперових фабрик, де продають авторство підручників, патенти і навіть наукові премії. Наприклад, місце першого автора в чужій статті коштує в середньому 1000 доларів. Тобто вразливими для маніпуляцій виявилися ті формальні показники, які Національна система дослідників планує використовувати для оцінювання науковців.

Чи існує «індивідуальний внесок»?

Окрему увагу варто звернути на один момент у методиці рейтингу. Кількість рейтингових балів, які НСД нараховує за науковий результат, не залежить від кількості співавторів. Тобто якщо за статтю присуджують один бал, то його нараховують кожному співавтору, незалежно від його внеску в спільний результат — навіть якщо їх 5000.

Інший підхід, який часто використовують, — це ділити бали на кількість співавторів. Але як саме ділити? Порівну? Чи визначати внесок кожного автора й давати більшу частку тим, хто зробив більше?

Якщо ж дати кожному повний бал (як це передбачає НСД), тоді той, хто частіше пише у співавторстві, отримує більше. І це стимулює так зване подарункове авторство, коли автори додають імена одне одного у статті без відповідного внеску.

Якщо ділити бал на всіх співавторів порівну — це дестимулює співпрацю, адже що більше співавторів, то меншу частку бала отримує кожен з них. Отже, великі наукові колаборації, які є дуже важливими для науки, стають менш вигідними, ніж одноосібні роботи. Для чого витрачати сили й час на узгодження позицій, перевірку одне одного, якщо в підсумку отримаєш менше, ніж за одноосібну статтю? Тож така система оцінювання карає саме те, що для науки є надважливим, — кооперацію.

Чи можна порахувати реальний внесок кожного й ділити бали відповідно? В Україні намагаються рахувати внесок за кількістю друкованих знаків. Але наука — це не текстовий конвеєр. Вирішальна ідея може вміститися в одному абзаці, тоді як десятки сторінок можуть не містити жодного справді нового результату.

Чому жоден спосіб не працює? Усі три припускають, що є стандартна одиниця «стаття», яку можна різати на частки між авторами. Проте такої стандартної одиниці немає — статті непорівнювані, а внесок — це не частина тексту, яку просто вставляють в статтю. Іноді у співавторстві зроблено таку роботу, якої поодинці не зробив би ніхто, і ділення балів на кількість авторів карає саме такий найцінніший випадок.

Можливо, інтуїтивно ми все-таки можемо сказати, що хтось із учених робить більший внесок. Але ми не можемо точно сказати, наскільки він більший і наскільки важливіший у довгостроковій перспективі. З іншого боку, немає причин карати нижчими балами тих, чий внесок є умовно меншим: можливо, він теж важливий, і без нього інший вчений не зміг би зробити свій наступний крок. Значущість внеску визначають не поточні зусилля чи статус автора, вона стає зрозумілою лише з часом (можуть минути десятки років). І навіть тоді немає гарантії, що справжній автор внеску отримає визнання. Більше визнання отримують відоміші вчені; а наукові відкриття майже ніколи не називають іменем справжнього першовідкривача.

Наші метрики міряють не внесок, а радше позицію вченого в ієрархії: більше цитують тих, у кого вже багато цитувань; гранти дістаються тим, хто вже має гранти. Класичний приклад — Нобелівська премія з фізики 2013 року за бозон Хіггса. Її отримали двоє теоретиків (із яких лише один дав ім’я бозону і став справді широко відомим), а стаття про масу бозона Хіггса вийшла з рекордним списком із 5154 авторів. Спробуйте справедливо приписати кожному з п’яти тисяч його частку.

Зрештою головна проблема формування індивідуального рейтингу науковців — не лише в тому, що його автори намагаються виміряти те, що виміряти неможливо. Найнебезпечнішим є те, яку поведінку науковців цей рейтинг заохочує.

Головна мета рейтингів — дресирування

Рейтинг не визначає, хто «кращий» учений, але формує певну модель поведінки. Це дресирування: робиш дію — отримуєш цукерку.

Рейтинг НСД влаштований так, що:

• кожен показник порівнюють із середнім у галузі й винагороджують дослідників, у яких показники вищі за середні (але не більш як у 1,5 раза);
• вигідніше зібрати якомога більшу колекцію популярних показників, аніж мати унікальні чи значно кращі за середні показники.

Що стимулює такий рейтинг? Виключно вал: кількість статей, книг, підручників, дисертацій, патентів має зростати. Навіть на читання цих публікацій просто немає часу, оскільки треба писати якомога більше власних статей.

Рейтинг дестимулює глибокі, повільні, ризикові дослідження, роздуми над проблемами, уважне вивчення джерел, складні дизайни експериментів, критику чужих досліджень — усе те, що є серцем науки й без чого наука не може нормально функціонувати. Тут можна заперечити, що публікація статті чи отримання патенту вже передбачають все це. Передбачали, поки публікація не стала головним мотивом. Так виникли «паперові фабрики», «хижацькі журнали», «картелі цитувань» тощо.

Методика укладання рейтингу передбачає перевірку дотримання академічної доброчесності. Проте для цього має бути: а) спроможність виявляти недоброчесну поведінку; б) готовність реагувати на неї.

Вловити шахрайство дуже складно, дорого й можливо лише в окремих випадках. Куплене співавторство чи цитування, поділ роботи на кілька статей — усе це майже не залишає слідів, які можна «зловити» автоматично. Списки хижацьких видань завжди не встигають за тіньовим бізнесом: поки аналітики викривають одне сумнівне видання, підпільні «паперові фабрики» встигають наштампувати тисячі нових. Як наслідок, статті поганої якості давно сидять в усіх «квартилях» популярних рейтингів, відносна кількість відкликаних статей постійно зростає, надійних детекторів ШІ взагалі не існує.

Але навіть якби можна було достовірно виловити більшість порушень — немає підстав очікувати, що будуть якісь наслідки для порушників. Показником цього є свіжий рейтинг від міжнародної платформи SCImago, яка оцінила Integrity Risk Indicators (індикатори ризику маніпуляцій метриками) через аналіз аномалій у публікаційній діяльності. Найвищий ризик отримали 15 українських університетів, серед яких Дніпровська політехніка, Київський національний економічний університет, Міжрегіональна академія управління персоналом, Національний юридичний університет імені Ярослава Мудрого, Сумський державний університет та інші. Ще більше університетів отримали середній ризик. Реакції МОН на цей рейтинг не спостерігалося. Хоча раніше, коли ці самі університети потрапляли до традиційних «позитивних» рейтингів SCImago, міністерство охоче повідомляло про це.

Те, що багато українських університетів опинилися в рейтингу індикаторів ризику, є наслідком політики стимулювання кількісних показників. Але МОН уперто ігнорує ці індикатори провалу й посилює тиск, тепер через Національну систему дослідників.

Боротьба з плагіатом так само залишається на плечах окремих ентузіастів, але виявлений плагіат у депутатів, міністрів, заступників міністрів чи ректорів університетів не змусив іще нікого подати у відставку. Які є підстави вважати, що з рейтингом НСД буде інакше?

Логічним здається питання: чи можна якось виправити рейтинг НСД, щоб він мотивував науковців робити те, що справді важливо? Пояснювальна записка до постанови уряду про НСД обіцяє, що ця новація «підвищить мотивацію» до наукової діяльності.

Українські науковці мають потужну внутрішню мотивацію до науки. Наше пілотне опитування 200 науковців, проведене в березні–квітні цього року в межах дослідження «Оцінювання організаційно-економічного забезпечення якості наукової діяльності» (вибірка невелика, але показова) виявило, що 84,9% респондентів продовжували б дослідження й публікації, навіть якби ніхто цього не вимагав. А головними цілями респонденти назвали «створити щось корисне для покращення життя людей» (58,4%) і «розширити знання людства про світ» (41,1%). Максимізацію метрик як головну ціль обрали лише 4,6%. А додаткова зовнішня винагорода за те, що людина робить із внутрішнього інтересу, цей інтерес радше гасить, аніж посилює. Причому НСД робить навіть гірше, ніж просто підміняє внутрішню мотивацію зовнішньою: вона цю мотивацію спотворює — винагороджуючи не саму науку, а кількість її формальних слідів, перенаправляє запал ученого зі «зробити відкриття» на «набрати показники».

Чому рейтинг не вирішить проблем української науки

Національна система дослідників обіцяє об’єктивно виміряти результативність науковців, виявити найкращих, повернути в науку престиж і людей. Жодної з цих обіцянок вона виконати не може — а радше дасть зворотний ефект. І це за рахунок фінансування досліджень. Держава не повинна підтримувати «найрезультативніших». Вона має підтримувати розвиток науки загалом і особливо — пріоритетних напрямів.

Не існує об’єктивного способу відділити справді найкращих дослідників від імітаторів. Але можна не стимулювати й не винагороджувати імітацію науки. Для цього потрібні не нові рейтинги, а послідовна політика академічної доброчесності — від боротьби з фальшивими публікаціями й купленим авторством до відмови призначати на керівні посади людей із доведеними порушеннями академічної доброчесності.