세상이 갈수록 타락해서 이제는 과학도 믿을 수 없는 세상이 되었다. 과학적인 연구결과는 객관적인 것으로 누구든지 그대로 따라 하면 재현이 되어야만 한다. 만약 그대로 따라 했는데도 동일한 결과가 나오지 않으면 애당초 그 연구는 잘못된 엉터리 연구인 것이다. 그런데 이런 엉터리 연구가 너무나 흔해서 이제는 과학 자체를 믿기 힘든 단계에 이르렀다.

최근에는 우리나라의 과학자들이 주저자로 참여한 논문 2편이 재현이 되지 않는 엉터리 연구로 드러나서 망신을 당하는 일이 있었다. 저명한 과학 잡지인 사이언스와 플로스 원에 게재된 2편의 논문은 발표 당시에 혁신적인 연구결과로 주목을 받았고 주저자로 참여한 연구원들은 둘 다 국내 대학의 교수로 임용되었다. 그런데 논문이 조작된 것으로 밝혀진 후에도 한명은 "연구를 이어받아 샘플이 바뀐 줄 몰랐다"는 해명을 하고 있고 또 다른 한명은 논문을 철회한 것은 맞지만 조작은 아니라고 우기고 있다고 한다.

그런데 이런 일이 너무나 흔해서 미국의 일간지인 로스앤젤레스 타임스가 이 문제를 기사로 다룰 정도로 문제가 심각하다. 로스앤젤레스 타임스가 보도한 기사의 내용을 소개한다.

오늘날의 세상은 사실인 듯한 견해와 거짓들로 가득해서 당신은 사실을 확인할 수 있는 믿을만한 곳은 과학이라고 생각할 것이다. 그러나 당신은 틀렸다.

1~2년 전에 캘리포니아에 있는 생물공학 회사인 앰젠의 과학자들이 자신들과 관련이 있는 암 연구와 혈액 생물학 분야의 획기적인 논문 53건의 연구결과를 재확인해보는 일에 착수했다. 그 이유는 앰젠이 수백만 불의 개발비를 지출해야 하는 연구가 여전히 타당한지 확인해보기 위해서였다. 그들은 한두 건의 연구는 검증이 안 될 것으로 생각했다. 연구결과가 특별히 새롭거나 혹은 새로운 치료방법으로 묘사되었기 때문에 그 연구결과가 재현되지 못할 수가 있다고 생각했다. 그러나 그들이 발견한 것은 놀랄만했다. 획기적인 논문 53건 중에서 6건만 확실한 것으로 입증될 수가 있었기 때문이었다. 앰젠의 글로벌 암 연구 책임자인 글렌 베글리는 전임상연구의 한계를 알고는 있었지만 이는 충격적인 결과라는 견해를 표명했다.

유감스럽게도 이게 특이한 일이 아니었다. 독일의 바이에르 헬스케어의 연구진도 비슷하게 자신들의 연구개발 프로젝트의 바탕이 되는 발표된 논문의 25%만 그 타당성을 확인할 수 있는 것을 발견했고 이는 그 회사가 엄청난 돈을 투자한 프로젝트들을 포기해야만 하는 것을 의미했다.

환자들이 이미 참여하고 있는 임상시험의 일부를 포함해서 연구의 모든 분야가 검증이 되지 않았고 아예 검증을 할 수도 없는 과학에 기초하고 있다. 사람들을 놀라게 하는 것은 발표된 중요한 논문들 중 너무나 많은 것이 조사를 해보면 틀린 것으로 밝혀지는 것이라고 버클리의 캘리포니아대학과 하워드 휴즈 의학연구소에 근무하는 생물학자인 마이클 아이전은 말하고 있다. 영국의 주간지인 이코노미스트는 최근 선진국들이 생물의학 연구개발에 연간 590억 불을 지출하는 것으로 추정했다. 이는 결함이 있는 기초연구로 인해 큰 손실이 생길 수가 있는 것을 의미한다.

아이전은 출판 시스템에 내재한 더 중요한 하자는 네이처나 사이언스를 위시한 최고의 잡지에 논문을 게재하려는 욕심으로 말미암아 연구가들이 자신들의 연구결과를 과대 포장하는 것이고 이는 특히 생명과학 분야에서 그러하다고 밝혔다. 논문을 출간하기 전에 저명한 과학자들이 미리 확인하는 제도인 동료검토도 안전장치가 되지 못한다. 아이전은 무보수로 그런 일을 하는 검토자들이 제출된 논문에서 실수나 하자를 찾아낼 정도로 충분한 검토를 할 시간이나 의향을 갖고 있는 경우가 드물다고 부언했다.

과학 잡지들은 이목을 끄는 주장을 하는 논문을 원한다고 아이전은 말했다. 또 과학자들은 성공하려면 사이언스나 네이처에 번쩍번쩍한 논문을 실어야만 하고 일단 그 논문이 많은 관심을 끌게 되면 잘못된 것으로 밝혀져도 자신들에게 나쁠 것은 없는 것으로 믿고 있다고 아이전은 부언했다.

전통적인 출판 시스템에서는 저명한 접지들은 논문에 대한 원고료는 한 푼도 지불하지 않으면서, 그런 논문을 읽어야 하는 연구가들과 그런 논문을 비치해야 하는 대학들로부터 막대한 구독료를 받고 있다. 아이전은 이런 전통적인 출판 시스템을 뒤집어 엎어버리는 것을 목표로 하는 개방된 과학논문 출판 시스템을 주창하는 사람이다. 그러나 과학의 위기로 부상하고 있는 것에 대한 우려는 이런 개방된 시스템을 갖추려는 움직임으로는 부족하다. 그런 우려는 미국의 국립 건강연구소에까지 영향을 미쳐서 국립 건강연구소는 지난주에 연구가들의 논문 출판 시스템을 바꾸는 프로젝트를 출범시켰다.

국립 건강연구소의 새로운 PubMed Commons 시스템은 자격이 있는 과학자들이 발표한 논문에 대해 언제든지 논평을 게시하도록 허용하고 있다. 이런 시스템의 목적은 단 한 번의 조잡한 동료검토가 연구를 확인하기에 충분하다는 생각을 과학자들이 버리도록 하고 지속적인 감시체제를 구축해서 부실한 연구를 신속하게 찾아내고 좋은 연구 찾아내서 독자층을 넓히는 것이다.

PubMed Commons 시스템은 과학 연구와 출판에 만연한 잘못된 보상 제도를 시정하려는 노력이라고 이런 새로운 시스템을 후원하고 있는 국립 건강연구소의 국립 생물공학 정보센터의 책임자인 데이비드 리프먼은 밝히고 있다. PubMed Commons 시스템은 아직은 예비적인 단계로 PubMed에 논문이 실린 연구가들 중에서 등록된 사람만 논평을 게재하고 읽을 수가 있다. PubMed는 생물의학 잡지와 온라인 정보원으로부터 인용된 것을 처리하는 미국 국립 바이오기술 정보센터(NCBI)의 유통망이다.

사이언스와 네이처는 둘 다 동료검토 제도가 불완전한 것을 인정하고 있다. 사이언스의 편집국장인 모니카 브래드포드는 미국 과학진흥 협회가 출간하는 잡지인 사이언스가 다량의 통계자료에 바탕을 둔 논문은 자료를 선별적으로 이용하거나 잘못 해석해서 그릇된 결론을 내릴 수가 있어서 감시를 강화할 필요가 있는 것을 알고 있다고 밝혔다. 네이처도 지금은 전문적인 통계학자들에게 일부 논문의 데이터를 조사하도록 위탁하고 있다고 밝히고 있다.

그러나 두 잡지사가 모두 다 출판 전의 동료검토 제도는 과학적인 과정 즉 합리적이고 공평한 과정에 필수적인 요소라고 그런 제도를 옹호하고 있다고 브래드포드는 말하고 있다. 게다가 저명한 잡지들이 자신들이 잘못된 연구를 조장하고 있고 자신들의 비즈니스 방법이 부당이득을 취한다는 견해에 대해 일부 반발이 있었다. 이달 초에 사이언스는 언론인인 존 보하논이 그가 화학을 공부한 고등학생도 알아볼 수 있는 결함이 있는 엉터리 논문을 304개의 개방된 화학 잡지에 보냈을 때 어떤 일이 일어났는지에 대해 쓴 글을 게재했다. 연구가들은 논문을 싣기 위해 이들 잡지에 돈을 지불해야 하지만 누구나 무료로 읽을 수가 있다. 그런데 이들 잡지 중 반 이상이 그 논문을 받아들였다고 한다.

그런 속임수가 통하지 않는 잡지가 바로 플로스 원으로 이 잡지는 공중 과학 도서관이 후원하는 온라인 개방 잡지로 아이전이 공동설립자이다. 플로스 원은 엉터리 논문의 방법론적인 결함과 윤리적인 결함을 찾아낸 극소수 잡지 중 하나였다. 그러나 이상한 것은 보하논이 자신의 함정수사로 개방 운동이 학술적인 논문 출판의 부상하는 무법천지의 일부라는 것을 밝혔다고 주장하는데도 불구하고 전통주의자인 사이언스가 최근의 가장 수상한 학술적인 논문을 게재한 잡지란 점이다.

그건 바로 2010년도에 발표된 논문으로 당시 미국 항공 우주국의 생화학자인 펠리사 울프-사이먼과 그녀의 동료들이 모노 호수에서 특이하게 비소를 먹고 살 수가 있고 심지어 비소를 이용해서 DNA의 뼈대를 만드는 박테리아가 자라고 있는 것을 발견했다고 주장한 논문이다. 사이언스롤 통해 이 논문이 발표되기가 바쁘게 보도 자료가 배포되었고 새로운 형태의 생명체란 개념을 선전하는데 조직의 이해관계가 있는 미국 항공 우주국이 후원한 기자회견이 열렸다. 그러나 거의 동시에 엄청나게 빈약한 방법론과 근거가 없는 결론으로 말미암아 다른 과학자들이 그 정체를 벗겨버렸다.

울프-사이먼은 지난 주에 해명 요청에 반응을 하지 않았지만, 자신이 해석한 연구결과가 가능하다는 입장이다. 그녀는 논문을 철회하지 않았고 그 논문에 대한 많은 비판을 게재한 사이언스도 그 논문을 철회하지 않았다. 울프-사이먼은 현재 저명한 로렌스 버클리 국립실험실에 근무하고 있다.

아이전에게 울프-사이먼 사건은 요란하게 떠들고 보도 자료를 배포하는데 집착하는 과학자들의 허상을 보여주는 대표적인 실례로 이전의 연구결과를 재현하고 확인하는 것은 과학의 발전만큼 중요하지만 그런 일이 경력을 쌓는데 아무런 도움이 되지 않는 제도 하에서 자연적으로 생긴 결과이다. 이전의 논문이 옳다는 것을 밝힌 논문은 실제로 중요한 잡지에 절대로 게재가 되지 않고 그래서 그런 연구를 하는데 연구비를 받기는 불가능할 것이라고 아이전은 말하고 있다. 그러나 연구와 개발에 대한 진짜 위협은 비소 연구와 같은 일회성 사건으로부터 오지 않고 베글리와 그의 앰젠 동료들이 발견한 것처럼 겉보기에는 그럴듯해 보이지만 검증을 통과할 수 없는 논문들이 널리 확산되는 것으로부터 온다.

이목을 집중시키는 연구결과를 요구하면서 검증은 무시하는 풍토는 모든 사람에게 영향을 미치는 질병을 치료하는 방법을 찾고 개발하는데 전 세계적으로 지출하는 수십억 불의 자원이 허비되는 것을 의미한다. 국립 건강연구소와 과학계가 이제야 정신을 차리고 과학이 길을 잃어버렸고 다시 제자리로 되돌려 놓는데 많은 시간이 걸릴지도 모른다는 것을 깨닫고 있다.

출처: Michael Hiltzik "Science has lost its way, at a big cost to humanity" Los Angeles Times, October 27, 2013