?

Log in

No account? Create an account

Previous Entry | Next Entry

Научный аудит

http://xray.sai.msu.ru/~polar/sci_rev/340.html#arxiv/1608.00689

arxiv:1608.00689 Компании по научному аудиту (Scientific Auditing Firms)
Authors: Gopal P. Sarma
Comments: 4 pages

Автор предлагает организовать компании, которые занимались бы научным аудитом. Вообще говоря, такая практика, безусловно, существует. Аналогу аудита подвергаются и большие научные организации, и журналы. Обычно под это создается какая-нибудь комиссия. Для работы независимых фирм необходим довольно большой поток заказов. На мой взгляд, вопрос в этом: насколько часто это необходимо. При том, что специалисты по аудиту, видимо, должны быть экспертами в каждой проверяемой области. Хотя, если экономика станет в мире еще более наукоемкой, а профессия исследователя - еще более массовой, то такое вполне возможно. Пока же кажется преждевременным. Тем более, что система независимой экспертизы грантов и тп. пока вполне справляется. Или уж тогда надо говорить об аудите фондов. А это и так проводится.

Comments

( 8 comments — Leave a comment )
sergepolar
Aug. 3rd, 2016 09:24 am (UTC)
"academic institutions have multiple, difficult to measure, and often conflicting goals."

Somethink like that. + it is not so obvious that an audit process is going to improve scientific productiivity (in a good sense).
xaxam
Aug. 3rd, 2016 11:29 am (UTC)
>>> it is not so obvious that an audit process is going to improve scientific productiivity (in a good sense).

Варди прав в том смысле, что результаты аудита зависят от того, кто и что с ними делает.

В нашей богоспасаемой лавочке аудиторы пишут доклад и лично встречаются с ректором. После этого ректор сообщает деканам факультетов то, что считает нужным, а те, в свою очередь, доводят до заведующих отделениями то, что сами считают нужным.

Смысл в том, что без периодического аудита высокое начальство перестанет понимать, что определённые направления (и целые департаменты) могут постепенно вырождаться, заходить в тупик в своей деятельности, брать на работу не тех, кого следовало бы (или тех, кого не следовало бы) и пр. А по результатам аудита администрация имеет возможность более отстранённым взглядом рассмотреть просьбы о дополнительных ставках, лабораторных площадях, стипендиях для студентов, внутренних грантах...

Но это - в хороших местах, которые пытаются сохранить свои "лидерские" позиции за счёт перерасстановки акцентов и перераспределения ресурсов. А в средних и слабых что делать с результатами аудита - непонятно. Ну, узнает президент какого-нибудь колледжа, что у него слабый департамент математики, - а что, он сам этого раньше не знал? что при всех конкурсах сильные люди (или хотя бы вышесредние) к нему не пойдут? Что на департаменте биологии имеющееся оборудование и квалификация лаборантов/студентов просто в принципе не позволяют делать работы того уровня, чтобы перейти в лигу повыше?
sergepolar
Aug. 3rd, 2016 11:42 am (UTC)
Согласен.

Вот мне и кажется, что для текущих нужд функцию внешнего аудита нормально выполняют "формальные критерии".
А вот если хочется каких-то глобальных преобразований, то тогда имеет смысл сделать нормальную внешнюю оценку. В данном случае, имеет смысл платить за специальную серьезную работу.
xaxam
Aug. 3rd, 2016 12:33 pm (UTC)
Я хочу повнимательней прочитать четыре странички арХивной статьи: они всё-таки не вообще про науку, а про биомедицину, и главная проблема там - плохая (или вообще никакая) воспроизводимость результатов.

Когда-то, когда наукой занимались немногие, а в журналах публиковали действительно открытия, а не просто "факты", перепроверка была нормой. И если результаты одной лаборатории не воспроизводились в другой, это был повод серьёзно задуматься над методикой, контролем условий и пр. Зато если результаты подтверждались, это был факт, заслуживающий опубликования.

Сегодня ни одному завлабу не придёт в голову перепроверять чужие работы: пустая трата драгоценных ресурсов, времени, и никакого навара, - статью по такой работе не напишешь.

А вот если есть частная контора, которая за деньги перепроверит работы, не имея никакого иного корыстного интереса (приоритет, гранты, карьера и пр.), - может, что и получится.

Но это надо очень тщательно прикидывать и с экономической точки зрения, и с этической. Подобный аудит будет сопоставим (если не дороже) исходного исследования, с другой стороны, в биомедицине не слишком высокая воспроизводимость - скорее норма (взяли мышей с другой генетической линии, - а на них не опыт работает, хотя причин к тому не видно; или в водопроводной воде, которой мыли посуду, примеси какие-нибудь были, которые угробили весь катализ).
midnike
Aug. 3rd, 2016 02:43 pm (UTC)
Вы поосторжней бы были, однако. А то, не приведи господь, согласитесь со мнением светоча либеральной экономики, доктора оной и профессора РЭШ, великого рефьюзника С. М. Гуриева, что РАН всё-таки нужно было реформировать (в смысле -- оторвать от неконтролируемой никем кормушки). А то ведь собратья по классу могут и не понять -- и станете нерукопожатым.
naukarus
Aug. 4th, 2016 01:45 am (UTC)
Автор предлагает поставить эксперимент, взять несколько эрудитов и поставить перед ними задачу разобраться в далеких от них областях какие результаты стоит воспроизводить, а какие нет. Идея, ИМХО, интересная. Тем более, что такие эрудиты уже есть - это науч-поп журналисты. Если кто-то вложится в создание аудиторского института, этот кто-то в будущем будет очень сильно влиять на развитие науки.
sergepolar
Aug. 4th, 2016 09:47 am (UTC)
в среднем, мне кажется, - нет.
Ментальность, эмоциональный склад и тп. у журналиста настолько отличаются от таких же черт хорошего аудитора,
что ничего тут не выйдет.
( 8 comments — Leave a comment )