Promyšlený systém, nebo pouze další honba za body?

Hodnocení výzkumných organizací se i v letošním roce provádí podle Metodiky platné pro léta 2013 až 2015. Osvědčil se podle vás tento způsob hodnocení?

Jenom pro upřesnění: Metodika 2013–15 nehodnotí výzkumné organizace, ale je víceméně předpisem stanovujícím, které výstupy organizací jsou uznatelné a jaké se jim poté přiřadí bodové hodnocení. Podle počtu bodů se dále spočítá výše institucionální podpory. V mezinárodní praxi je hodnocení v oblasti výzkumu, vývoje a inovací považováno za důležitý zdroj informací pro řízení systému na všech stupních. Kvalitní informace jsou strategickým nástrojem pro efektivní vynakládání veřejných prostředků. V tomto smyslu náš způsob hodnocení dlouhodobě selhává. Obrací se navíc pouze do minulosti, neobsahuje žádné strategie do budoucnosti. Tato metrika by mohla poměrně slušně fungovat na úrovni poskytovatelů – ostatně původně tak byla zamýšlena –, ale díky jednoduchosti a předvídatelnosti se stala nesmírně přitažlivou i pro nižší stupně řízení, až se propadla i na hodnocení jednotlivců. Takto se celý systém hodnocení ve VaVaI zdeformoval na zběsilou honbu za body. Jediná Akademie věd ČR hodnotí své ústavy podle mezinárodních standardů.

S jakými změnami se počítá pro další roky – přepokládám, že se hodnocení bude muset přizpůsobit co nejdříve mezinárodním zvyklostem. Jsme součástí širšího společenství a většina výzkumů má mezinárodní dosah. Který model bude tomu našemu nejbližší?

Ano, máte pravdu, principy hodnocení bychom měli změnit, přiblížit se ověřené zahraniční praxi – a to co nejrychleji. Ačkoliv existuje ve světě více modelů, jejich jednotícím principem je takzvané informované peer-review. Zahrnuje posouzení kvality pomocí předem známých hodnotících kritérií v komisi složené z odborníků daného oboru. K dispozici mají kromě jiného i data k definovaným indikátorům příslušného kritéria, jako je například bibliometrická analýza, nebo přehled využití aplikačních výstupů. Nejdůležitějším zdrojem informací je přitom sebehodnotící zpráva výzkumné organizace. Jednotlivé zahraniční modely se pak liší například v počtu kritérií nebo indikátorů. Cíl však mají společný: posouzení kvality a relevance výzkumu pro společnost. Příklady z poslední doby mohou být národní evaluace v Portugalsku v roce 2014, jejíž výsledky měly zásadní dopad na výši institucionální podpory, národní hodnocení v Litvě, hodnocení italských univerzit za období 2011–14 či národní hodnocení v Nizozemsku za období 2015–21 – pokud úplně pominu země, jako je Velká Británie nebo Francie, kde je již hodnocení tradiční. Hodnocení je v zahraničí obvykle pravidelné s frekvencí 1× za 5 až 6 let.

Vždy se ale jedná o celý komplex opatření, která na sebe musejí navazovat. Bude vše přizpůsobeno či konáno v rámci nového ministerstva pro výzkum, vývoj a inovace?

Myslím, že nikoli nutně, ale zřízená jakéhosi evaluačního úřadu je běh na dlouhou trať. Změna systému hodnocení je veskrze politické rozhodnutí, které musí nakonec učinit vláda. Nové ministerstvo by mohlo být organizačně administrativním a metodickým nebo výkonným orgánem. Nezapomínejme ještě na hodnocení programů účelové podpory, což je další velká výzva.

Lze již nyní alespoň částečně naznačit základní strukturu tohoto ministerstva? Podle informací z tisku má fungovat od roku 2017. Předpokládám, že se některé organizace zruší a nahradí je smysluplný orgán, který bude kromě jiného i garantem efektivního vynakládání veřejných prostředků…

Bohužel k tomu se neumím vyjádřit, po dobu, kdy jsem členkou RVVI (prosinec 2015) jsme nic podobného neprojednávali.

Recenzovaný portál TZB-info se věnuje stavebnictví a právě stavební fakulty pociťují nedostatek informací o mechanismu provádění kontrol výsledků zařazených do databáze Rejstříku informací o výsledcích (RIV), v bodovém hodnocení odborných publikací, článků a patentů. Jak si vedou české stavební fakulty v hodnocení?

Mechanismus kontroly výsledků je několikastupňový. Kontroluje se soulad záznamů v RIV s platnou strukturou výsledků a také vícenásobné výskyty téhož výsledku. Výsledky v Podpilíři I se kontrolují po věcné stránce Oborové verifikační a hodnotící panely (OVHP), které mají právo navrhnout vyřazení takového výsledku, který neodpovídá platné definici. Expertní panely (EP) pak hodnotí excelentní výsledky v Piliři II. Co se týče konkrétních výsledků stavebních fakult, myslím si, že většina jejich výsledků spadá oborově pod Technické a informatické vědy, ve kterých se započítávají články v impaktovaných časopisech, odborná kniha, kapitola v odborné knize a článek ve sborníku. A samozřejmě výsledky podle Pilíře III. Podíl bodů této oborové skupiny na celkovém počtu tvoří 16,95 %. Podíly bodů pro jednotlivé obory byly stanoveny kvalifikovaným odhadem hned na začátku tvorby Metodiky.

To je pro stavební fakulty dobrý nebo špatný výsledek?

Tato otázka zajímá nejen stavební fakulty, ale bohužel odpověď zní, že to nikdo neví. Takové informace naše současné hodnocení nedává. Znovu opakuji, že to je v podstatě jen přepis bodů do výše institucionální podpory. Obecně lze ale říci, že nějaké hodnocení je lepší než žádné. Metodika dávala jasný signál: žádné výstupy, žádné peníze. Analýzy ukazují, že se od roku 2009 zvýšila publikační aktivita, citovanost i podíl publikací se zahraničními odborníky. Jenže, na tom má i podíl veřejná podpora rostoucí až do ekonomické krize a zvýšení kapacity sektoru. Tento trend zřejmě platí i pro stavební fakulty.

Mohla byste blíže popsat způsob hodnocení formou panelů. V čem spočívá?

Největší díl práce odvádějí OVHP, jejichž členové fyzicky kontrolují výsledky druhu recenzovaný odborný článek (Jrec), odborná kniha (B) a kapitola v odborné knize. Největší a nejčastější problém je to, jaké výsledky některé organizace v honbě za body předkládají k hodnocení. Objevují se zde nejenom skripta a jiné učební texty, populárně naučné články, informace o konání konference, recenze, ale i podivné kompilace a dokonce i nekrology. V Hodnocení 2014 poprvé RVVI přistoupila k bodové penalizaci v celkové výši přes 4 000 bodů, což odpovídá finančnímu postihu zhruba 11 milionů korun. Rada považuje uplatnění sankcí za důležitý výchovný prvek, který by měl usměrnit chování výzkumných organizací v budoucnosti.

Existují ještě nějaké další možností hodnocení, o kterých se uvažuje?

Příprava nového systému hodnocení, založeném na informovaném peer-review, vyžaduje čas, přestože tu jsou zkušenosti z hodnocení AV ČR a z IPN projektu MŠMT i ze současně platné Metodiky hodnocení. Čas na organizační přípravu, ale hlavně čas na projednávání, vysvětlování a diskuse. Nedělám si iluze, že vše půjde hladce. Je pravděpodobné, že bude muset být dvou- až tříleté přechodné období s nějakým způsobem upravenou Metodikou hodnocení tak, aby byla naplněna litera zákona, že hodnocení a přidělování institucionální podpory se provádí každoročně. Ostatně, tento náš unikátní a ve světě naprosto ojedinělý systém, který nedovoluje ani střednědobé strategické řízení, kritizoval už Mezinárodní audit systému VaVaI v ČR, který byl realizován MŠMT v rámci Individuálního projektu národního v letech 2009–2012.

V českém jazyce lze v oblasti stavebnictví publikovat odborné texty pouze v recenzovaných neimpaktovaných médiích. Jejich význam spočívá hlavně v tom, že mohou zprostředkovat výsledky výzkumu českým firmám. Jak se toto promítá v současné době v bodových hodnotách?

V bodových hodnotách oboru Technické a informatické vědy nejsou odborné texty typu Jrec a Jneimp uznatelnými výsledky. To ale neznamená, že české časopisy nejsou pro získávání kontaktů s potenciálními partnery důležité. Ovšem organizace samy vědí, které časopisy jsou pro hledání partnerů pro ně výhodné, a jistě budou pokračovat v publikování článků. Pro hledání partnerů lze využít i sborníky z českých konferencí, které uveřejňují plné znění příspěvků, nebo lze využít propagace výsledků na internetu a webových stránkách. Nepřímo tak mohou zvýšit svoje bodové zisky v Pilíři III díky vyšší podpoře z účelových prostředků, nebo ze smluvního výzkumu, které vyplynou ze spolupráce s českými firmami.

Vysoké školy jsou v poslední době velmi aktivní zvláště v přihlašování patentů. Souvisí to s tím, že za ně lze také získat nemalé bodové ohodnocení?

Samozřejmě. Bodové hodnocení je nakonec takzvaně přetaveno do peněz – a o to jde v první řadě. Navíc, patentové poplatky českého patentu jsou dosažitelně malé. V roce 2012 jsem zjišťovala ve výročních zprávách za rok 2011, jaké příjmy měly vysoké školy za prodej licencí. Pouze pět vysokých škol získalo více než 500 tisíc korun a nejlepší z nich pak zhruba 2,5 milionu korun. Myslím, že se situace od té doby nijak podstatně nezměnila.

Ohlíží se hodnotitelé také na kvalitu patentů a na jejich praktickou využitelnost?

Za český patent bez licenční smlouvy je 10 bodů a s licenční smlouvou 50 bodů, pokud je patent evropský, USA anebo japonský, tak získává bodů 100. Žádní hodnotitelé jejich kvalitu a praktickou využitelnost ale samostatně neposuzují.

Například technikům se jistě patentuje lépe než například ekonomům či politologům. Bere na tyto rozdíly současný systém hodnocení ohled?

Patenty a další výstupy aplikovaného výzkumu jsou společně s finančními prostředky z účelové podpory s příznakem Aplikovaný výzkum, Vývoj nebo Inovace a smluvního výzkumu zařazeny do Pilíře III. V něm je v jednotlivých oborových skupinách bodový strop. Souhlasím, že se ekonomům či politologům patentuje hůře, ale mohou tuto situaci vylepšit tím, že budou aktivní například ve výzkumu pro veřejnou správu, který může být aplikační.

Můžeme na závěr říci, jaký je podle vás ideální stav v oblasti vědy a hodnocení výsledků, jaká je podle vás cesta k tomuto cíli (vize RVVI), a jakým způsobem do toho zapadá nové ministerstvo?

Prvním krokem je opuštění současného systému hodnocení, protože jeho nezamýšlené důsledky značně negativně ovlivnily celý systém VaVaI. Myslím, že na tom panuje v RVVI shoda. Nový systém by se měl posunout od hodnocení kvantity k hodnocení kvality, od výstupů k hodnocení výzkumných organizací v několika dimenzích. Jak je organizace výkonná, jak kvalitní výstupy produkuje, jak jsou její výsledky uplatněné v praxi nebo jak je organizace řízena, to by mělo být posouzeno odborným panelem. Pak lze výsledky hodnocení sumarizovat a analyzovat na všech úrovních, od organizací přes poskytovatele až na nejvyšší úroveň státní správy. Vlastně umožní strategické řízení a vyhodnocování zásahů do systému. Na tom se také shodneme, ale důležité je, jak začít. Na RVVI i KHV (Komise pro hodnocení výsledků a ukončených programů) nyní podrobně diskutujeme, jak bude vypadat přechodné období, jaká bude úloha a zodpovědnost jednotlivých článků řízení i to, v jaké míře se dotkneme institucionálního financování. Postupovat chceme krok po kroku. V krátké době by měla jednání vyústit v základní usnesení RVVI a pak bude prostor pro jednání se všemi aktéry, připomínková řízení a na konec na návrh usnesení vlády. Doufáme, že se podaří, aby hodnocení 2017 už bylo prvním v přechodném období. Pokud bude v této době již ustaveno ministerstvo pro VaVaI, bude to zřejmě jeho úloha.

Děkuji za rozhovor

prof. Ing. Jitka Moravcová, CSc., členka Rady pro výzkum, vývoj a inovace

profesorka organické chemie na Ústavu chemie přírodních látek VŠCHT Praha. Je členkou Rady vlády pro výzkum, vývoj a inovace (RVVI). Věnuje se problematice hodnocení ve výzkumu, vývoji a inovacích.

 

Informační zdroje pro výzkumníky a zaměstnance stavebních fakult: www.vyzkum.cz, metodika.reformy-msmt.cz, audit-vav.reformy-msmt.cz