1. 들어가며
학문의 종류가 무엇이 되었던 간에 연구비 걱정은 누구나 하게 된다. 그리고 최근 들어 연구비를 지원하는 단체들은 리스크를 회피하고 싶어하며, 경쟁이 심한 신청 과정에서 "상대적"으로 안전하고 보수적인 프로젝트를 새로운 프로젝트보다 선호한다는 우려가 계속빚어왔었다 (Kolata 2009, Alberts 2010, Walsh 2013). 이와 동시에 연구비 단체들은 연구저널 출판통계를 이용해 누구한테 연구비를 지원해줄 지, 그리고 이들의 고과를 평가하곤 했다. (Hicks et al. 2015).
과학의 획기적 발견을 지탱하는 연구들은 "새로운" 방법론을 들고 나올 때가 많다. 이는 학계에 큰 충격을 안겨줄 수 있지만, 동시에 실패할 확률 역시 높다. 또한 이 새로운 연구들이 "임팩트"를 가지는데에는 시간이 오래 걸릴 수 있다--기존의 과학 패러다임으로부터의 거부반응부터 해서 이 새 연구들의 결과들을 차후 연구에 반영하는 데에는 대체적으로 시간이 오래 걸리기 때문이다.
이렇게 새로운 연구는 경제학적으로 "하이 리스크/하이 리턴"으로 분석될 수 있고, 이로 인해 특히 공적으로 지원해주는 것이 좋다고 생각되어진다. 하지만, 이 새로운 연구가 기존의 연구와 다른 임팩트 진행과정을 가지고 있다면, 우리가 흔히 쓰는 "출판통계" (IF, etc.)등등은 새로운 연구에 대한 연구비 지원에 페널티를 매길 수 있지 않을까?
오늘 소개할 Wang et al. (2016)은 바로 이 문제를 측정해보고자 한다.
2. 결과 I
저자들은 이 "참신함"과 임팩트 사이의 복잡한 관계를 분석하면서, 2001년에 Web of Science (WoS)에서 다루는 모든 분야에서 출판되었던 1,056,936개의 연구 논문의 인용도 데이터를 사용했다.
우선 참신함이 뭔지를 정량적으로 정의하자. 저자들은 현존하던 지식 요소들을 어떻게 새로운 방식으로 합치는 지를 분석한다. 이 조합이론적 접근방식은 이미 다른 저자들 (Fleming 2001이 대표)에서 연구 논문과 특허, 그리고 보고서 등등의 참신함을 분석하기 위해 쓰인 바 있다.
그런 뒤 추가적으로 특정 저널과 연계되는 저널 사이의 "지식 거리"를 응용하여, 새로운 지수를 개발한다. 그리고 저자들은 다음과 같은 사실을 찾아냈다:
우선 참신한 연구는 상대적으로 드물다. 단 11%의 논문만이 이 카테고리에 해당되었기 때문이다. 그리고 이들 중 55%는 단 하나의 "지식 네트워크"를 가지고 있었고, 그보다 적은 숫자의 논문만 높은 지식네트워크 지수를 보여줬기 때문이다.
그리고 참신한 연구들의 인용 지수는 예상했던 대로 매우 편차가 크다. 참신한 논문의 분산도는 그렇지 않은 논문보다 15%나 더 높았기 때문이다. (Figure 1A)
하지만 이들 논문이 "빅히트"를 기록할 확률은 참신하지 않은 논문들보다 40%나 높았다 (Figure 1B). 또한 이 참신한 논문들은 추후 연구의 길을 정립한다는 점에서 커다란 임팩트를 기록한다. 그리고 저자들은 이 "빅히트" 논문들을 인용하는 논문들이 그렇지 않은 논문보다 더 인용당할 확률이 26%나 높음을 찾았다. (Figure 1C)
저자는 이 외에도 각종 분석을 한다. 하나는 학제간 연구다. 그리고 저자들은 동일한 인용횟수를 기록하는 참신하지 않은 논문과 비교했을 때 참신한 논문들은 더 많은 분야에서 인용되고, 그 논문의 주요 분야가 아닌 분야에서 인용을 더 많이 할 확률이 높았다. 즉, 이는 참신한 연구들이 학제를 넘나들며 임팩트를 기록할 "수도" 있다는 것을 의미한다.
그렇다면, 이 참신한 연구들을 인정해주는 것은 비전문 분야에서일까? 저자들은 이 참신한 논문들이 해당 분야 본진이 아닌 다른 분야에서 더 많이 인용됨을 찾아냈다 (Figure 1D)
3. 결과 II
Figure 1
하지만 이들 논문이 "빅히트"를 기록할 확률은 참신하지 않은 논문들보다 40%나 높았다 (Figure 1B). 또한 이 참신한 논문들은 추후 연구의 길을 정립한다는 점에서 커다란 임팩트를 기록한다. 그리고 저자들은 이 "빅히트" 논문들을 인용하는 논문들이 그렇지 않은 논문보다 더 인용당할 확률이 26%나 높음을 찾았다. (Figure 1C)
저자는 이 외에도 각종 분석을 한다. 하나는 학제간 연구다. 그리고 저자들은 동일한 인용횟수를 기록하는 참신하지 않은 논문과 비교했을 때 참신한 논문들은 더 많은 분야에서 인용되고, 그 논문의 주요 분야가 아닌 분야에서 인용을 더 많이 할 확률이 높았다. 즉, 이는 참신한 연구들이 학제를 넘나들며 임팩트를 기록할 "수도" 있다는 것을 의미한다.
그렇다면, 이 참신한 연구들을 인정해주는 것은 비전문 분야에서일까? 저자들은 이 참신한 논문들이 해당 분야 본진이 아닌 다른 분야에서 더 많이 인용됨을 찾아냈다 (Figure 1D)
3. 결과 II
또한 저자들은 이 "참신한 논문"들이 3년 이하의 인용도만 봤을 때 인용 횟수 톱을 찍지 못함을 찾아냈다. (Figure 1E). 대신 4년이 지났을 때부터 이 참신한 논문들이 "빅히트"로 바뀌는 확률은 높아졌고, 이들이 참신하지 않은 논문보다 가지고 있는 유리함은 시간이 따라 심해졌다. 한편, "약간 참신한" 논문 (주: 참신함에는 속하지만 상위 1% 미만)은 이 "인정"에 걸리는 시간이 더 길었다. 이들이 빅히트가 되려면 무려 9년이나 걸렸기 때문이다.
참신한 연구에 대해 인정하는 데 이렇게 시간이 오래 걸린다는 것은 앞서 얘기한 출판통계 지수들 (주로 2~3년 기준의 인용도에 기초)이 "참신한 연구"에 불리하게 짜여짐을 의미한다. 참신한 논문들이 빅히트가 되려면, 시간이 오래 걸리기 때문이다.
논문의 출판통계를 평가하기 위해 인용횟수를 보는 것은 흔하다. 또 다른 흔한 방법은 저널의 임팩트 팩터(IF)를 보는 것이다. 임팩트 팩터는 저널의 평균적 논문이 인용되는 횟수를 뜻하는데, 사이언스 지는 33.611, 네이처는 41.456이다. 그리고 저널 데이터를 분석하면서 저자들은 "참신한 논문"이 나오는 저널의 임팩트 팩터들은 그렇지 않은 저널보다 평균적으로 18%가 낮음을 찾아냈다 (Figure 1F).
이는 즉, 과학 내 중요위치를 차지하고 있는 저널들이 참신한 논문들을 잘 받아들이지 못한다는 것을 내포한다.
그리고 임팩트 팩터를 키우기 위해 고군분투하고 있는 저널들, 그리고 임팩트팩터가 2년 기준으로 계산되는 것을 고려할 때, 저널들 입장에서는 단기적으로 높은 인용횟수를 찍을 수 없는 참신한 논문들을 전략적으로 받아들이지 않을 수 있다는 것을 의미한다.
4. 정책적 의미
LJL
또한 이 출판통계지수에 기초하여 연구비지원을 계산하는 단체들에게 이 논문의 결과는 특히 많은 점을 시사할 것이다. 다른 분야에서 주로 참신한 논문들을 더 많이 인용한다는 결과는 피어리뷰에서 "단분야적" 접근법을 피해야되는 또 다른 이유를 우리에게 가르쳐준다. 피어리뷰는 과학의 의사결정에서 많이 쓰이고, 학계 내 경계에 얽매여있는 피어리뷰는 참신한 논문의 진정한 가치를 완전하게 평가하기 힘들 수도 있기 때문이다.
만약 리스크가 조금 큰 연구를 밀어주고 싶다면, 이제 이 논문의 결과대로 고전적 출판통계지수에 대해 고민을 해봐야할 것이다. 또한, 출판통계지수를 개량해야 되겠다.
덧글
2016/05/28 11:37 # 
비공개 덧글입니다.
2016/05/29 00:02 # 
비공개 답글입니다.참신함을 인정하지 않는 학계따윈 뱀모양 어혈이 인정하지 않을겁니다 ㅠㅠ
해외의 투자경향은 꼭 그렇지는 않아 보입니다. 실패 자체에 그렇게 의미를 두지 않는 엔젤투자자들도 많더군요.
그나저나 송유근 따위가 박사 학위를 받는다니...세상에. 이래서 학문을 제대로 배우려면 외국 가야 하는 건가..