국내외 의료 확장현실(XR, Extended Reality) 기술 개발 현황

1. 서울대학교병원

지난 14일 대구국제공항에서 서울대, KT와 디노플러스, 스마트굽이 협력해 5G네트워크와 확장현실기반 지능형 의료 서비스를 시연했다.

 

서울대학교병원 기도삽관 시연

이 시연은 서울대병원 컨퍼런스룸과 대구공항 대합실 사이를 KT 5G 네트워크로 연결하고, XR Glass 기반 원격 협진 솔루션을 이용해 대구공항에서 발생한 호흡곤란 환자(실제는 환자를 가정한 더미 이용)에게 현지 의사와 원격지의사가 실시간으로 환자 영상을 공유하면서 3D 입체 의료 콘텐츠의 정밀한 인체 구조 표시와 원격지의사의 실시간 드로잉을 통한 시술의 방향, 세기를 정교하게 가이드 해 줌으로써 현지 의사가 정확하고 신속하게 기도삽관을 시행했다.

기도삽관 확장현실 컨텐츠

이번에 선보인 5G와 확장현실기반 XR원격협진 기술은 서울대의 우수한 의학 전문성, kt의 우수한 5G 네트워크 기술, 그리고 디노플러스/스마트쿱의 원격 협진 콘텐츠/솔루션 기술이 결합돼 새로운 방식의 원격 협진 서비스의 가능성을 확인함과 동시에 실감나는 콘텐츠와 ICT 기술력의 융합의 가치를 확인할 수 있었다.

 

2. 분당서울대학교병원

언택트(untact)시대에 이어 디지택트(digitact)시대가 열리는 가운데 가상현실에서 라이브수술 교육이 가능해지면서 의료진 교육에도 변화가 예상된다.

분당서울대병원 흉부외과는 XR(eXtended Reality; 확장현실) 기술 플랫폼을 활용한 '아시아심장혈관흉부외과학회(ASCVTS)·아시아흉강경수술교육단(ATEP) 교육프로그램'에서 라이브 서저리(Live Surgery)를 진행하며 새로운 비대면 의료 교육 방식을 선보였다. 'XR CLASS'로 불리는 이 플랫폼은 전 세계 어디에서든 가상의 강의실에 접속해 실시간으로 가르치고 배울 수 있는 교육 플랫폼으로, VR 영상 콘텐츠 전문기업인 서틴스플로어가 개발했다.

<MD를 착용하고 아바타 형태로 입장한 가상의 강의실과 수술실 모습. 가상의 강의실에 입장하면 강의실 앞 강사 뒤로 보이는 스크린 화면을 통해 집도의 시선에서 바라보는 수술부위(좌측 상하 이미지)와 강의슬라이드(상단우측 이미지)를 볼 수 있다. 강의실에서 3D Live 모드로 접속하면 가상의 수술실 안으로 들어가 실제 수술장 안(하단우측 이미지)에서 참관하는 것 같은 환경이 구현된다>.

이는 당초 원격 강의 및 회의를 중점으로 활용하고자 개발된 플랫폼에 테트라시그넘(대표 송영일) 측이 지금까지 쌓아온 헬스케어 진단 및 교육 IT 솔루션 노하우를 녹여내면서 외과 교육용 콘텐츠 'XR Surgical Class'가 탄생할 수 있었다.

공동연구를 진행한 분당서울대병원 흉부외과는 지난 6월 한달 간 싱가포르 국립대학병원 및 영국 멘체스터로얄병원 흉부외과 의료진과 함께 이 플랫폼의 안정성 및 효용성 시범테스트를 시행했다.

이를 바탕으로 지난 3일 베트남 흉부외과 의료진을 대상으로 하는 ATEP의 '제5차 아웃리치 프로그램(ATEP 5th Outreach Program)'에 이 플랫폼을 적용해, 분당서울대병원 스마트수술실에서 이뤄진 폐암수술을 실시간으로 공유했다.

또한 일본·싱가포르·태국·영국을 비롯한 8개 국가 간 최고 명의들의 강의 및 토론을 실시간으로 진행하는 등 외과교육으로는 세계 최초로 XR 기술을 도입한 원격 교육을 성공적으로 수행했다.

XR 기술을 기반으로 개발된 XR CLASS는 현재 최대 43명까지 동시 접속해 강의를 들을 수 있고, 시각적으로는 물론 3D XR 이머시브 사운드 기술을 통해 고품질의 음성 대화도 끊김없이 현장감 있게 할 수 있는 것이 특징.

최근 웨비나에서 많이 쓰이고 있는 줌, 구글미트와 같은 기존 원격 툴과 비교했을 때, 원활한 실시간 음성지원과 실제 현장과 같은 배경화면 구현이 가능하다는 것이 장점이다.

강사와 교육대상 의료진은 와이파이가 지원되는 장소에서 HMD(Head Mounted Display)를 착용한 채, 각자의 역할에 맞는 아바타를 설정한 뒤 부여받은 강의실 코드를 입력하면 가상의 강의실과 수술실에 입장한다.

라이브 서저리는 눈앞에 세 개의 모니터가 펼쳐지는데 하나는 집도의가 바라보는 수술 시야를 3차원 영상으로 보여주고 또 하나는 수술팀의 기구조작 모습을, 나머지 한 화면은 스마트수술실에 구축된 360도 8K VR 카메라를 통해 집도의와 수술 간호사를 원하는 대로 볼 수 있어 실제 수술실 안에서 참관하는 것 같은 환경을 제공한다.

수술을 집도한 흉부외과 조석기 교수는 "기존에 진행해오던 라이브 서저리의 경우 수술실에서 3D 카메라로 수술을 해도 영상을 받아보는 곳에서는 2D로 볼 수밖에 없었고, 제공하는 화면 이외에는 볼 수가 없었다"고 전했다.

그는 이어 "하지만 이 플랫폼을 활용하면 고개만 돌려도 실제 수술실 모습을 360도 3D 화면으로 볼 수 있고, 여러 시점에서 보고 싶은 수술 부위와 과정을 지켜볼 수 있어 몰입도가 매우 높다"고 말했다.

이어 흉부외과 전상훈 교수(ASCVTS 회장, ATEP 설립자)는 "상대적으로 의료 역량이 부족한 개발도상국 의료진은 해외 각국에서 개최되는 학술대회 및 연수 프로그램에 매번 참석하는 것이 물리적, 비용적으로 쉽지 않다"고 내다봤다.

그는 이어 "이러한 플랫폼을 의료현장에 적극적으로 도입한다면 보다 차별화된 의학콘텐츠와 교육서비스를 최소한의 비용으로 제공할 수 있어, 의과대학 학생들의 실습교육에 활용도가 높은 새로운 의료교육 방식이 될 것으로 기대한다"고 언급했다.

또한 그는 "이번 코로나19 사태로 의료계에서도 혁신적인 비대면 원격 교육이 필요하다는 것을 느꼈다"며 "코로나 이후에 또 다른 감염질환에 의한 팬데믹이 없으리라는 보장이 없기에, 헬스케어 분야에서도 이러한 XR 기술을 선도적으로 적용해 나가려는 노력이 필요하다"고 강조했다.

 

3. Philips의 Azurion 증강 현실 플랫폼은 Microsoft의 HoloLens 헤드셋을 사용하여 수술을 통해 외과의를 안내

Philips의 Azurion 증강 현실 플랫폼

외과의는 곧 XR을 사용하여 실제 환자에게도 수술 할 수 있습니다. 예를 들어, Microsoft의 HoloLens 팀은 Philips와 함께 Azurion 이라는 이미지 안내 치료 플랫폼을 개발함.

혼합 현실 시스템은 X-ray 및 초음파 이미징을 사용하여 의료 절차를 통해 외과 의사를 안내하는 컴퓨터 생성 모델과 환자의 살과 혈액 해부학을 일치시킵니다.

수술 전 수술 계획에 사용 하기 위해 HoloLens 기반 의료 시스템을 정리 했으며, HoloLens는 또한 종양 치료 절차를 통해 외과 의사를 안내하는 것을 목표

 

4. FundamentalVR은 주로 Fundamental Surgery 플랫폼을 통한 외과 교육에 중점을 둔 의료 시스템에서 가상 현실 (VR) 교육 서비스를 제공함.

Fundamental Surgery 플랫폼1

Oculus Quest와 같은 장치는 PC 기반 제품보다 저렴한 대안을 제공하고 실행하기 쉬운 독립형 헤드셋 덕분에 VR 교육을 훨씬 더 실용적이고 편리한 옵션으로 만듭니다. 기본 수술은 하드웨어에 구애받지 않으며 수술 조치, 의료 도구 및 조직 변형의 물리적 신호를 모방 할 수 있습니다.

Fundamental Surgery 플랫폼2

이미 전세계 병원에 배치 된 수술 플랫폼은 치 감촉과 결합 된 상용 하드웨어를 사용하여 사용자가 실제 기술을 습득 할 수 있도록합니다. 외과의는 실제 시술에서와 동일한 시력, 소리 및 느낌을 경험합니다.

수술 절차를 수행하는데 필요한 기술에 대한 지식과 이해를 습득하는데 효율적인 방법을 제공한다.