연구 영향력은 어떻게 측정할까요? 연구 기금 제공자의 인사이트를 모았습니다

기후 변화, 코로나19 등 세계적인 난제에 맞서는 연구자들의 연구는 우리 사회에 큰 도움을 줍니다. 이들의 연구는 일방향이 아니라 사회적 필요, 글로벌 사건의 전개, 정책 입안자와의 논의, 대중과의 소통을 통해 진행되고 집단적 지식 형성에 기여합니다. 

연구비 지원 기관은 사회에 영향을 미치는 연구의 중요성을 오래전부터 인지하고 있습니다. 연구자들은 빠듯한 예산으로 자신의 연구가 갖는 경제적, 사회적 가치를 입증해야 하는 압력을 받습니다. 기금 제공자들은 연구의 가치를 평가하는 시스템이 있지만 연구 영향력을 입증하는 일은 관련된 모든 사람들에게 어려운 과제입니다. 영향력 측정이 어려운 이유는 무엇이며 어떤 방법을 사용하면 좋을까요? 

엘스비어는 2021년 10월과 11월 두 달에 걸쳐 규모가 비슷한 연구기금기관들과 함께 “Calibrating Economic and Societal Impact: Best Practices to Inform Ex-post Evaluation”을 주제로 한 워크숍을 연속 개최했습니다. 워크숍에는 핀란드아카데미(Academy of Finland) 새 탭/창에서 열기, 아일랜드과학재단(Science Foundation Ireland) 새 탭/창에서 열기, 이스라엘과학재단(Israel Science Foundation) 새 탭/창에서 열기, 뉴질랜드 기업혁신고용부(Ministry of Business, Innovation and Employment) 새 탭/창에서 열기의 핵심 연구자와 관리자들이 참여했습니다. 엘스비어의 International Center for the Study of Research (ICSR)에서는 토론을 위해 전문가 의견을 제공했습니다. 

워크숍에서 나온 네 가지 핵심 주제  

참가자들은 연구 영향력을 입증하는 것과 관련된 여러 어려움을 논의하며 공감대를 형성했습니다. 특히 입증 방법을 개선하는 방안에 대해, 중요하나 책임이 필요한 네 가지 핵심 주제를 중심으로 논의가 진행됐습니다. 

1. 연구 우수성과 사회적 영향력의 관계 

연구자, 연구 기관, 연구 기금 제공자 등은 일반적으로 연구가 긍정적인 영향을 미치기 위해서는 연구 자체가 우수해야 한다고 생각합니다. 이로 인해 많은 사람들은 연구비를 지원 받아 수준 높은 연구를 수행하면 영향력이 생길 것으로 생각합니다. 그러나 연구의 우수성과 영향력 사이의 관계에 대해서는 알려진 게 많지 않습니다. 제안 내용의 수준이 높은 연구일수록 연구 결과가 지식 발전에 긍정적 영향을 준다는 근거는 있습니다. 그러나 연구의 우수성과 사회적 영향력은 약한 상관관계가 존재한다는 제한적인 연구 새 탭/창에서 열기만 있을 뿐입니다. 이러한 관계에 대한 지식을 축적한다면 연구 영향력 측정과 입증 방식을 개선하는 데 도움이 될 것입니다.  

워크숍 참가자들의 질문:

• 인과 관계를 파악하는 것은 불가능할 수도 있지만, 더 많은 데이터를 사용할 수 있다면 커뮤니티가 우수 연구에 대한 연구비 지원의 장기적 이점에 대한 이해를 높일 수 있지 않을까요? 선택한 연구 분야에 따라 어느 정도 영향을 받을 수 있을까요? 

• 연구 우수성이 사회적 영향력을 높이는 데 도움이 된다면, 우수하지 않은 연구는 동일한 결과를 얻지 못하는 것일까요? 이를 탐구하면 연구의 수준과 영향력 사이의 연관성에 대한 이해의 폭이 넓어질 것입니다. 

 2. 영향력 창출 위한 연구 결과 알리기 

연구는 그 우수성과 상관없이 연구 결과를 적절한 사람들에게 알려야 영향력을 발휘할 수 있습니다. 따라서 관련 연구를 전달하고 알리는 일은 영향력을 창출하고 입증하는 데 있어 매우 중요한 단계입니다. 그러나 어떤 연구가 관련성이 있는지 판단하는 것은 생각만큼 간단하지 않습니다. 코로나19나 해양 플라스틱과 같은 현실적인 문제에 초점을 둔 연구가 영향력이 가장 높을 것으로 생각되지만, 의도치 않게 획기적인 결과를 이끌어낸 연구 사례도 많습니다. 또한, 연구와 영향력의 관계가 선형적이지 않다는 점도 이미 잘 알려진 사실입니다. 이를 염두에 두면, 연구가 어떤 솔루션을 제안하는 것이 아니더라도 해당 연구를 공개적으로 알리는 일은 중요합니다. 사회 문제를 해결하려는 의도가 분명한 연구인 경우, 연구자가 연구 과정 전반에 걸쳐 사람들, 특히 문제의 영향을 받는 사람들은 물론 연구 결과를 토대로 실제적인 행동으로 옮길 수 있는 사람들과 소통할 때 입증 가능한 영향력을 가장 잘 발휘할 수 있습니다. 이러한 소통 과정에는 연구자 본인은 물론 언론 담당자나 기술이전 담당자와 같은 기관 파트너 등 다양한 사람들이 참여할 수 있습니다.  

워크숍 참가자들의 질문:

• 사회적 영향력이나 관련성을 높이는 맥락적 요인에 대한 이해를 높이려면 어떻게 접근하는 것이 가장 효과적일까요? 연구의 영향력이 실제로 발현되도록 하기 위해서는 연구비 지원 기관, 연구 기관, 연구자들은 무엇을 할 수 있을까요? 

• 이는 언론 홍보와 같은 연구 연계 활동 개발이 사회적 영향력에 미치는 효과를 더 폭넓게 살펴보는 것으로 확장될 수 있습니다. 사회적 문제에 초점을 두는 것은 영향력 가속화 차원에서 실질적인 변화를 가져왔나요? 

 3. 연구 기반 교육의 영향력 이해하기 

연구를 수행하는 개인보다는 연구 프로그램, 포트폴리오 또는 기관의 전반적인 영향을 추적하고 측정하는 것이 효과가 가장 클 것으로 여겨지는 경우가 많습니다. 그러나 연구자들은 지식의 통로와 같은 역할을 하기에 어디를 가든 자신의 커리어를 쌓고, 자신의 스킬, 경험, 인맥을 활용합니다.  연구 중심의 박사 과정 교육을 받았다고 해서 항상 학계로 가는 것은 아닙니다. 정부나 민간 부문으로 진출하는 경우도 많습니다. 예를 들어, 박사 학위 과정을 지원 받은 연구자들은 연구 이외의 업무에서 영향력을 발휘할 수 있으며, 관련 분야의 전직 동료나 조언자들과 협력하여 영향력을 발휘할 수도 있습니다. 사람들이 커리어를 쌓아가는 경로를 파악하면 연구비 지원 기관 등은 장학금이 갖는 사회적 영향을 더 정확하게 추적하는 데 도움을 얻을 수 있습니다.  

워크숍 참가자들의 질문:

• 직책이나 직위, 새로 설립된 회사, 이들의 위치 등을 파악할 수 있는 인사이트가 가장 풍부한 연구를 위해 최고의 데이터 소스, 파트너, 방법론을 찾을 수 있을까요? 

• 연구 기반 교육을 받은 사람들의 사회적 영향력을 완전히 파악하기 위한 최선의 접근 방식은 무엇인가요? 

• 일회성 행사를 넘어 지속적인 모니터링 접근 방식으로 전환하고 싶은 바람이 있는데 이를 실현할 수 있을까요? 

• 사람들의 이동을 통해 구축된 인맥은 어떤 영향을 미칠까요? 업계로 이직한 사람들은 이전 연구 기관의 사람들과 파트너십을 유지하는데 이러한 파트너십 관계가 업무와 사회적 영향력에 영향을 주는 것인가요? 

 4. 영향력 평가의 비용과 이점 파악 

현재 많은 국가에서는 성과에 기반한 연구비 지원 시스템(PRFS)을 운영하고 있습니다. 이는 연구 우수성과 영향력 평가에 의존하는 시스템으로 평가의 목적 외에도 상당한 이점을 제공할 수 있습니다. 해당 평가는 기관의 평판을 높여 더 많은 연구 기금과 협업을 이끌어내는 것 외에도 연구 자체를 들여다보는 연구자들에게 귀중한 데이터를 제공하기 때문입니다.  그러나 이러한 유형의 평가는 정보를 준비해야 하는 연구 기관과 연구자 본인에게 큰 부담을 줄 수 있습니다. 영국에서는 연구 우수성 프레임워크(REF)와 같은 프로세스에 따른 재정적, 시간적 비용이 문제로 지적되고 있습니다. 또한 연구와 사회적 영향 사이의 연결고리가 복잡해짐에 따라 영향 평가서 및 기타 평가 요소의 유용성에 의문을 제기하는 사람들도 있습니다. 워크숍 참가자들의 질문은 다음과 같은 문제를 고려하고 있습니다. 

• 다양한 평가 연습의 효과를 계속 검토할 필요가 있습니다. 어떤 접근 방식이 가장 효과적일까요? 

• 자원 조달과 재정적 비용 때문에 모든 연구의 우수성과 영향력을 측정하지 못한다면 무엇을 놓치고 있는 것일까요? 

 참가자들은 연구 커뮤니티의 부담 평가에 대한 포괄적인 이해가 연구 커뮤니티에도 도움이 될 수 있다고 제안했습니다.  

연구 영향력 연구 개발 

워크숍 참가자들은 토론 전반에 걸쳐 연구 커뮤니티가 전체가 직면하고 있는 과제에 대한 실제적 질문, 즉 연구비 지원 기관이 연구 영향력을 어떻게 생각하는지 직접적으로 알려주는 질문에 집중했습니다. 그 결과 두 가지 잠재적 연구 프로젝트를 확인했습니다. 

• 연구 영향력 창출을 위한 성공 요인 파악: 연구 우수성이 사회적 관련성 외에도 영향력의 실현에 기여하는 맥락적 요인과 결합된 경우 연구의 사회적 영향력이 발생할 가능성이 더 높다는 가정을 검증  

• 연구 기반 교육 및 훈련의 사회적 영향력: 연구를 그만두고 연구 기반 교육과 훈련을 활용한 커리어를 추구하는 사람들이 연구의 사회적 영향력을 창출할 수 있다는 가정을 검증 

엘스비어의 ICSR은 연구 질문을 구성하기 위해 관심 있는 워크숍 참가자들과 함께 “심층 분석” 세션을 기획하고 있습니다. 이후, ISCR은 파트너들과 함께 두 가지 프로젝트 아이디어 중 하나 또는 두개 모두를 개발해 개념 증명 연구의 타당성을 평가할 것입니다. 

아래는 워크숍에서 공유된 주요 자료입니다.  

• 2019 GRC 원칙 선언문  새 탭/창에서 열기

• 서지학: 연구 측정 지표를 위한 라이덴 선언문  새 탭/창에서 열기

• 고등교육위원회 성과 기반 연구 기금  새 탭/창에서 열기

• 영향력 범위 확대, 2015, Small Advanced Economies Initiative  새 탭/창에서 열기

• 학계를 넘어 - 연구 우수성 프레임워크에서 연구 영향력 조사  새 탭/창에서 열기

• 공정하고 공평한 파트너십 원칙을 통한 연구 영향력 재고  새 탭/창에서 열기

• 과학적 영향력과 사회적 관련성의 연계: 학계의 참여와 다학제적 연구의 역할  새 탭/창에서 열기

• 관련성과 우수성 사이? 연구 영향력 아젠다와 정책 지식의 생산   새 탭/창에서 열기

• UBC PhD 커리어 결과 새 탭/창에서 열기

• 박사 취업에 대해 알려진 것은 무엇인가? 영국 연구 고찰 및 향후 연구 방향  새 탭/창에서 열기