[논문작성법] 연구 논문과 '메트릭스(metrics)' 활용 | |||||||
---|---|---|---|---|---|---|---|
글쓴이 | 하리스코 | 작성일 | 2023-11-19 23:28:08 | 조회수 | 3711 | ||
컴퓨터 알고리즘과 데이터 과학의 발전 덕분에 오늘날은 메트릭스(metrics)와 지표(indicators)를 활용해 연구 논문의 품질(quality)을 측정할 수 있게 됐다.
이러한 메트릭스(metrics, 측정지표)는 개별 연구자, 연구자 팀, 기관의 부서 등의 요구에 맞게 특별히 설계되어 연구 논문의 성과(impact)를 평가할 수 있다.
동료 평가(peer review)는 정성적인 프로세스(qualitative process)인 반면 매트릭스(metrics, 측정지표)는 정량적 매개변수(parameter)이며, 매트릭스(metrics)의 선택은 연구의 목적과 주제에 따라 달라질 수 있다. 이러한 어려움이 있지만, 여전히 저널 차원의 지표(indicators)는 연구의 품질을 평가하는 파라미터(매개변수, parameter)로 사용되고 있다.
2014년 네덜란드 레이덴에서는 과학기술지표(STI) 컨퍼런스가 개최됐었다. 당시 컨퍼런스에는 저명한 교수들을 비롯해 네덜란드의 선도적인 STM출판사(Scientific, Technical, and Medical Publisher)인 엘스비어(Elsevier)의 전문가들이 패널로 참가했다. 이들 전문가들은 연구의 내용(content)과 데이터(data)를 측정하는 데 활용되는 메트릭스(metrics)와 지표(indicators)의 품질(quality)을 표준화하는 것이 시급하다는 문제의식에 공감했다.
이를 위해 당시 회의에 참가한 전문가들은 ‘스노우볼 메트릭스(Smowball Metrics)’ 이니셔티브라는 걸 만들었다. 즉, 세계의 모든 대학들이 협력해 산출물(output)과 연구 방법론(research methodology)의 측면에서 연구의 품질을 측정하기 위한 일련의 표준들(a set of standards)을 만들어 보자는 것이었다.
이 시도는 엘스비어의 연구 측정법 부문 디렉터와 세계 유수 대학의 저명 교수들이 함께 노력한 결과이기도 했다. 당시 엘스비어가 제시한 이상적인 비전은 다음과 같은 내용이었다.
▲ 연구의 전체 워크플로우(an entire workflow of a research study)는 여러 측정지표(metrics)를 활용해 다양한 측면에서 평가된다.
▲ 연구 주제와 관련이 있는 피어(peers)는 자신들의 측정지표 세트(sets of metrics)를 선택할 수 있어야 한다.
▲ 메트릭스(metrics)를 생성하고 사용하는 데 있어 자동 방식을 택할 수 있어야 하고 또, 확장 가능해야(scalable) 한다.
▲ 일반적으로, 연구(research study)는 ‘과학, 기술, 의학(science, technology, or medicine)’과 관련된 질문에 답을 제시하는 데 초점이 맞춰져야 한다.
▲ 메트릭스(metrics, 측정지표)는 연구의 데이터를 정량적인 방식(quantitative fashion)으로 평가함과 동시에 연구 결과가 완전한 지를 확인할 수 있도록 정성적으로도(qualitatively) 평가할 수 있어야한다.
여러 메트릭스(metrics)를 정량적으로 적용하는 것이 본질적으로 신뢰도가 가장 높은 것으로 나타난다. 메트릭스(metrics)는 규율(discipline)과 같은 일부 특성에 영향을 받기 때문에, 연구 성과를 반영하지 않더라도 이를 고려해야 한다.
메트릭스(metrics)의 사용은 연구자들이 조작적인 ‘게임하기’같은 방법을 사용하지 않을 때 투명성을 얻을 수 있다. 그럼에도 연구자들은 여전히 메트릭스(metrics)를 무책임하고 옳지 않은 방식으로 사용하고 있다.
매일 매트릭스(metrics)을 사용하는 연구자들에게는 메트릭스 세트(set of metrics)를 정의하는 데 있어 책임감을 가질 수 있도록 해야 한다. 이렇게 함으로써 연구자 커뮤니티는 다양한 메트릭스(metrics)의 정의를 제시할 수 있을 것이다.
연구 방법론(research methodologies)에 있어서는 어떠한 ‘블랙 박스(black boxes)’도 존재해서는 안되며, 측정지표의 집합(an aggregation of metrics)은 고려되어서는 안된다. 게다가 복합 측정지표(composite metrics)는 조사연구에서 제시되는 데이터의 진정한 가치를 절대 반영하지 못한다.
메트릭스(metrics)의 품질을 평가하는 데 사용되는 방법론(methodologies)은 데이터의 소스(sources)나 데이터 생성에 사용된 도구(tools)와 관련이 있어서는 안된다. 게다가, 기본 데이터를 수집하는 데 사용된 비즈니스 모델 및 액세스 코드(access codes)는 메트릭스(metrics)에 영향을 미치면 안된다.
(* 위 글은 하리스코 영문블로그 포스팅 중 'How to standardize metrics and indicators of the quality of research papers'을 번역한 내용임)
* 출처 : |