AI가 정상/비정상 패턴을 학습해 약물 처방 오류를 막는다! feat. Google AI Blog

소요에서 관련 내용 확인하기

안녕하세요~ 제가 중국 AI 시장 소식을 자주 소개해드렸는데 이번에 시리즈성으로 구글 AI 블로그를 전문 번역해보려고 합니다. 저도 번역하고 내용을 정리하다보니 기술적 지식, 트랜드를 잘 파악할 수 있을 것 같더라구요. 구글 AI 블로그에는 거의 매일 아티클이 올라오는데 이에 맞춰 매일 번역하고 소개하는 것은 무리일 것 같아요... ㅋ  그래서 1주일에 최소한 1개 아티클을 공부하면서 정리하겠다는 원대한(?) 계획을 세웠답니다.

점점 쌓아가다 보면 또 하나의 아카이브가 될 것이라 기대하면서.... 제가 처음 픽한 구글 AI 블로그 아티클을 소개합니다.(어투는 제 말투가 아닌 번역 느낌을 살렸습니다.)

---

처방 오류로부터 환자를 보호하기 위한 움직임

본인 의지로 환자를 다치게 하려는 의사, 간호사, 약사는 당연히 없을 것이다. 하지만 NEJM(New England Journal of Medicine) 리서치에 따르면, 입원 환자의 2%가 약물 처방 관련 사고로 인해 영구적 신체 손상을 입거나 사망했다. 약물 처방 실수를 일으키는 요인에는 여러 가지가 있을 수 있는데, 보통 임상의 개인의 능력 부족 때문이라기보단 잘 갖추어지지 않은 시스템, 도구, 절차, 근무 환경 때문이다. 이를 해결하기 위한 한 가지 방법은 현재 이용되고 있는 표준 전자의료기록(EHR, electronic health record) 소프트웨어 기반의 규칙 기반 오류 경고 시스템보다 더 견고한 시스템을 구축하는 것이다. 이 시스템은 처방전의 오류 유무를 식별하는 것이다. 사실, 의사에게 있어서 어느 환자에게, 언제 적절한 약물을 선택해 치료할지 결정하는 것은 복잡한 일이다. 이런 스킬을 배우기 위해 수십 년 동안 훈련을 진행하는데도 말이다. 하지만 전자의료기록 사용이 점점 확산됨에 따라 우리는 데이터를 통해 처방전의 정상, 비정상(=오류) 패턴을 식별하는 것이 가능해졌다. 

처방전 오류에 대한 해결책을 모색하기 위한 초기 노력의 일환으로, 우리는 UCSF(University of California, San Francisco)의 바칼 컴퓨터 헬스 사이언스 기관(Bakar Computational Health Sciences Institute)과 함께 유명 저널 임상 약리학 및 치료학(Clinical Pharmacology and Therapeutics)에 “전자의료기록 데이터를 기반으로 한 입원 환자 약물 주문 예측(Predicting Inpatient Medication Orders in Electronic Health Record Data)”이란 연구 논문을 게재했다. 이는 전자의료기록을 바탕으로 머신러닝이 의사의 정상적인 처방 패턴을 얼마나 잘 예상할 수 있는지를 측정하는 것이다. 우리는 비식별 환자 기록으로부터 활력 징후, 실험실 결과, 과거 약물 치료, 절차, 진단 등의 연속적 정보를 포함한 종합적인 임상 데이터를 사용했다. 환자의 현재 임상 상태 및 병력에 근거하여, 우리의 모델은 의사의 실제 처방 결정을 최고 75%의 정확도로 예측했다. 

모델 훈련

모델 훈련에 사용된 데이터셋에는 100,000개 이상의 입원 기록에 있던 약 300만 건의 약물 치료 처방이 포함되었다. 이는 기본적으로 전자의료기록 데이터를 사용한 것이고, 무작위로 날짜를 바꾸거나 HIPAA(Health Insurance Portability and Accountability Act)에 따라 이름, 주소, 연락처 세부 정보, 기록 번호, 의사 이름, 텍스트 메모, 이미지 등 개인 정보 관련 부분은 제거했다. 또한, 이 데이터는 다른 어떤 데이터와도 합쳐지지 않았다. 모든 연구에서 우리가 이전에 머신러닝을 위한 효과적인 의료 데이터를 만들 때 사용했던 오픈 소스 FHIR(Fast Healthcare Interoperability Resources) 형식을 이용했다. 데이터셋은 특정 질병 또는 치료 영역에 국한하지 않아서 머신러닝 작업을 더욱 어렵게 만들었다. 하지만 탈수증을 앓고 있는 환자는 외상성 손상 환자와는 다른 약물이 필요로 하듯 더 다양한 조건을 고려하여 처방전을 식별할 수 있게 되었다.

우리는 임상 연구에서 일반적으로 사용하는 두 가지 머신러닝 모델, 즉 LSTM(Long short-term memory)^[각주:1]과 타임 버킷(time bucket) 형태의 정규화(Regularized) 로지스틱 회귀 모델^[각주:2]을 사용했다. 두 모델 모두 환자의 병원 서비스(예: 일반 의료, 일반 외과, 산부인과, 심장학 등) 및 입원 이후의 시간을 바탕으로 가장 자주 주문된 약물 순위를 매긴 간단한 기준과 비교했다. 환자 데이터에서 하나의 약물이 주문될 때마다 모델은 990개의 관련 약물 목록에 순위를 매겼으며, 우리는 의사가 실제로 주문한 약물에 높은 확률을 할당했는지를 평가했다.

모델 평가 방법의 예로, 특정 바이러스 감염 징후를 보이는 환자를 상상해보자. 모델은 고온, 높은 백혈구 수, 빠른 호흡 속도 등 환자의 전자의료기록에 기재된 정보를 검토하고 해당 상황에서 특정 약물이 처방될 가능성을 추정한다. 모델 성능은 순위를 매긴 약물 목록과 의사가 실제로 처방한 약물(예: 항생제 반코마이신 및 수분 보충을 위한 염화나트륨 용액)을 비교하여 평가된다.

환자의 병력과 현재 임상 특성에 근거하여, 모델은 의사가 처방할 가능성이 가장 높은 약물 순위를 매긴다.

결과

최고의 성능을 발휘한 모델은 텍스트 및 언어 등의 순차적 데이터를 처리하는 데 특히 효과적인 LSTM 모델이었다. 이 모델은 데이터의 사건 배열 및 시간 순서를 파악할 수 있어 우리의 실험에 매우 적합하다. 

모델이 예측한 각 질병에 대한 상위 10위 약물 목록들 중 거의 모든(93%) 경우가 임상의가 환자를 위해 하루에 한 번 이상 주문할 약물을 포함하고 있었다. 의사가 실제 처방한 약물이 상위 10위 목록에 있던 경우는 55%, 상위 25위 목록에 있던 경우는 75%였다. 의사가 처방한 약물이 상위 25위 목록에 나타나지 않은 '부정 오류(false negatives)'의 경우에도, 모델이 동일한 종류의 약물을 높은 순위로 매긴 경우가 42%였다. 이와 같은 성능은 단순히 이전에 처방된 약물을 예측하는 방법론에 의해 설명되지 않는다. 우리가 이전 약물 주문에 대한 정보를 제공하지 않았음에도 모델은 높은 성능을 유지했기 때문이다.

이것은 환자와 임상의에게 무엇을 의미하는가?

우리가 고안한 방법으로 훈련된 모델은 과거 올바른 처방 데이터를 바탕으로 의사의 행동을 재현하는 것이지, 최적의 처방 패턴, 약물의 효과, 발생 가능한 부작용을 학습하는 것은 아니다. 하지만 ‘정상(normal)'을 배우는 것이 결국 비정상적이고, 잠재적 위험성을 지닌 약물 처방을 발견하기 위한 출발점이다. 다음 단계의 연구에서는 어떠한 상황에서 우리의 모델이 환자를 다치게 할 수 있는 약물 처방 오류를 찾는 데 유용하게 활용될지 탐구할 것이다.

우리의 실험 결과는 실수를 방지하고 환자를 안전하게 지키는 시스템을 구축하기 위해 머신러닝을 적용할 수 있다는 가설을 테스트하기 위한 초기 단계이다. 우리는 의사, 약사, 기타 임상의 및 환자와 협력하여 모델이 오류를 발견할 수 있는지, 이를 통해 환자를 안전하게 보호할 수 있는지를 정량화하는 연구를 지속적으로 할 계획이다.

원문 : https://ai.googleblog.com/2020/04/a-step-towards-protecting-patients-from.html

1. LSTM은 RNN의 ‘장기 의존성 문제(the problem of Long-Term Dependencies)’이란 한계를 극복하기 위한 대안 모델로, 긴 시퀀스(sequence)에 대해서도 전체 정보력을 잘 유지하여 예측의 정확도를 높일 수 있습니다. [본문으로]
2. 로지스틱 회귀 모델은 기본적으로 이중 분류(Binary classification)에 사용되는 기법입니다. 타임 버킷이란 독립 변수가 시간 단위임을 의미합니다. 정규화란 로지스틱 회귀 모델의 가중치 적용 비중을 결정하는 것으로 언더피팅(underfitting) 및 오버피팅(overfitting)을 방지합니다. [본문으로]