About Huinno
휴이노는 전 세계 사망률 1위인 심뇌혈관 질환을 조기 진단하기 위한 원격 심전도 모니터링 시장을 타겟합니다. 인공지능 분석 기술과 IoMT(하드웨어/소프트웨어) 제품을 결합하여 환자의 생체 신호를 최장 14일동안 지속적으로 측정하고, 신속하며 정확한 진단 결과를 의료진에 제공함으로써 의료진이 정확한 진단을 내릴 수 있도록 돕습니다.
•
2019년 ICT 규제 샌드박스 1호 기업으로 선정되어 기술의 유효성 입증
•
종합/상급 병원 의료진과 임상을 통해 97.89% 부정맥 진단 정확성 검증
•
2022년 시리즈C 435억원 투자 유치
•
2022년 6월 출시 후 2024년 6월 +300여개 병의원 제품 도입 완료
Why I joined Huinno
2011년 아버지에게 중풍이 찾아왔습니다. 아버지의 생활 식습관이 뇌졸증을 유발한 요인이었지만, 뇌졸증의 전조 증상인 (심방세동)부정맥을 사전에 스크리닝하여 예방하지 못한 안타까운 마음이 가득했습니다.
뇌졸증의 유병률은 국내 4명 중 1명으로 현대화되면서 지속적으로 증가되는 추세입니다.
그러나, 10여년이 지난 지금도 심전도 검사를 통한 부정맥 스크리닝에 대한 인식이 매우 낮습니다.
왜 그럴까, 부정맥은 감기처럼 증상을 느끼기 어려우며, 두근거림과 어지러움을 느끼더라도 #순환기내과, #부정맥 #심전도검사 등 키워드들이 쉽게 떠오르지 않는 것 같습니다.
검사를 진행하더라도, EKG(12-lead)심전도 검사 장비 착용의 불편함과 베터리 한계, 40% 미만 분석 정확도로 인해 간헐적으로 발생하는 부정맥을 진단하는데 한계가 있습니다.
휴이노에 지원하여 인터뷰를 준비하면서 생각해봤습니다.
만약 일상에서 혈압과 혈당을 측정하듯, 간편한 기기로 심전도를 측정할 수 있다면..
이를 통해 원격으로 의료진은 이상 신호를 감지하여 조기 예방과 진단, 처방을 내릴 수 있다면..
이러한 업을 고민하며 휴이노의 원격의료 비전을 함께 실현하기 위해 입사하였습니다.
My Role
Product Owner
•
연간 및 분기 OKR 수립
•
의료진 및 환자, 임상 병리사향 각 제품 라인 개선점 도출
•
MEMO Staff App 및 MEMO Care(web) 스쿼드 로드맵 수립 및 리드
•
인공지능, 디바이스, 플랫폼 외 커머셜, 판독팀 협업을 통한 제품 개선
Highlights
•
2022 1Q MVP 출시
•
2024-6월 기준 처방 및 리포트 분석 역대 1위 달성
◦
처방 병원 수 [Confidential]
▪
MoM : 전월 대비 +11.2%
▪
YoY : 전년도 동기 대비 +200%
◦
처방 의사 수 [Confidential]
▪
MoM : 전월 대비 +1.6%
▪
YoY : 전년도 동기 대비 +269%
◦
레포트 분석 수 [Confidential]
▪
MoM : 전월 대비 +20.2%
▪
YoY : 전년도 동기 대비 +722.1%
Project 1. MEMO Platform MVP 출시
목표 | 최대 14일 심전도 검사 운용이 가능한 심전도 분석 플랫폼(MVP)을 출시한다. |
팀 구성 | 플랫폼 팀: 3POs, 2PDs, 5FEs, 4BEs
담당 스쿼드: *PO(self), 1PD, 2FEs, 1BE |
성과 | MEMO Partner(Internal), Care(External) MVP 출시 |
기간 | 2021.11~2022.03 |
#개요
기존 24시간 홀터 대비 자사 제품(Hardware & AI) 분석 결과를 대조한 실험 결과로 정확성과 효용성을 입증받아 식품의약처의 인허가를 획득하였습니다. 임상적으로 입증된 결과를 바탕으로 MVP 개발 중 435억 시리즈 C 라운드 투자를 유치하였습니다. 이러한 마일스톤 달성으로 시장의 필요, 수요, 연구/개발중인 제품의 임상적(효용성) 잠재적 가치를 입증할 수 있었습니다. 본인은 MEMO Care 제품의 PO로서 분석 완료된 심전도 데이터를 편집하여 리포트를 출력하는 심전도 검사 제품을 출시하는 프로젝트를 맡았습니다.
#가설 및 실행
타겟 시장과 사용자 유형, 사용자별 시나리오 등 자료를 보안하여 MVP 제품의 핵심 미션을 설정하였습니다.
최장 14일 심전도를 측정할 수 있는 “간편한” 웨어러블 패치와
“98% 정확도”를 보장하는 신속한 분석 결과를 제공함으로써 의료진의 진단을 보조한다.
•
환자향 싱글 웨어러블(1-lead) 패치의 간편한 착용성과 안전성을 보장하여 최장 14일동안 지속적으로 심전도 데이터를 측정할 수 있어야 한다.
•
임상병리사향 장기간 측정된 데이터를 정확하고 신속하게 분석하여 임상병리사의 업무(+판독) 효율을 개선할 수 있어야 한다.
•
의사 및 병원 기존 심전도 검사 대비 검사 순환율을 높여 경제적 및 효용적 가치의 우위를 선점할 수 있어야 한다.
식품의약처의 의료기기 및 소프트웨어 인허가 승인 과정에서
의료진과 임상확증시험을 통해 제품의 효용적 가치 및 임상적 효과성을 검증할 수 있었습니다.
MEMO Product 제품 라인(MEMO Patch, Dataloader, AI, App, Web, Chatbot)이 결합된 검사 프로세스/흐름을 설계하여 총 8개 스프린트로 MEMO Care(의료진향) 및 Partner(내부 판독팀향) 제품 개발을 진행하였습니다.
[검사 시나리오]
1.
임상 병리사는 환자에게 처방된 신규 검사를 등록한다. (via MEMO Care)
2.
임상 병리사는 등록된 검사와 웨어러블 심전도 패치를 연결하여 측정을 시작한다. (via MEMO Staff App)
3.
환자는 메모패치를 부착한 상태로 귀가하여 일상생활 중 지속적으로 측정을 진행한다.
4.
환자는 검사가 종료되는 날짜에 맞춰 패치를 의료진에게 반납한다.
5.
의료진은 데이터로더 설치형 프로그램을 통해 데이터를 (메모서버로)업로드한다. (via Dataloader)
6.
업로드 된 데이터는 인공지능 분석 후, 판독팀의 데이터 편집/검수가 진행된다.(via MEMO Partner)
7.
의료진이 사용하는 MEMO Care 웹에 분석 완료된 데이터 및 리포트가 동일하게 표시된다.
의료진은 데이터 검토 완료된 리포트 파일을 다운로드하여 EMR에 업로드 한다. (via MEMO Care)
최종 출시 전 Dogfooding 사용성 및 성능 점검
코로나 상황이 심해지면서 온오프라인 업무 혼선을 줄이기 위해 회의록을 문서화하고, 개별 작업들을 티켓으로 관리하며 회고를 통해 Hybrid 형태의 업무 프로세스를 개선하였습니다. 2021년 12월 사무실에 밝혀있는 크리스마스트리처럼 의료진과 환자에게 밝은 빛이 될 수 있기를 바라며, Dogfooding 테스트와 개선 작업을 반복하여 이듬해 4월 MVP 제품을 출시하였습니다.
프로젝트를 마무리 및 출시하는 과정에서 모든 구성원들이 고객을 이해하며
“우리의 업”에 대한 목적 의식을 점검할 수 있었습니다.#결과 및 검증
2021년 11월 프로젝트를 주도하여 이듬해 3월 안정성을 검증 한 후 4월 MEMO Patch/Care 제품을 출시했습니다. 2022년 3월에는 보건복지부에서 장기(최대14일) 심전도 측정에 대한 보험수가 정책이 공지되었고, 유한양행과의 판권 계약을 통해 효과적으로 시장에 진출할 수 있게 되었습니다.
주요 상급 병원에 제품이 도입되어 실 처방으로 제품에 대한 편의성 및 경제성은 검증할 수 있었으나, 10초 단위씩 부정맥 유형 1개를 labeling하는 시스템 구조와 장기간 측정으로 오차범위가 누적되는 문제로 인해 정확한 진단이 어려운 케이스들이 발생하기 시작했습니다. 🫨Project 2. 진단의 정확성 향상을 위한 시스템 리뉴얼
목표 | 오차 범윙심전도 분석의 정확성을 보장할 수 있는 제품으로 리뉴얼한다. |
팀 구성 | (플랫폼 팀) 2POs, 1PDs, 5FEs, 4BEs
(담당 스쿼드) *PO(self), 1PD, 3FEs, 2BE |
성과 | 분석 로직 및 인터페이스 리뉴얼 완료 (부정맥별 분석 결과의 정확성 및 분석 속도 향상) |
기간 | 2022.08~12 |
#문제
10초 단위로 labeling(편집)하는 로직으로 인해 부정맥마다 발생 비율(전체기간 대비), 평균심박수, 지속된 시간 등 메타 데이터의 정확성을 신뢰하기 어렵다는 의료진의 피드백을 수집하였습니다. 기존 24시간 이내로 측정된 분석 결과를 제공하는 홀터 제품과 달리, 최대 14일을 측정하는 심전도 데이터상 오분석 구간이 누적될 수록 집계된 진단 결과의 정확성이 낮아질 수 있는 한계를 발견하였습니다.
그렇다면 우리는 왜 10초 단위로 마킹하는 시스템 설계를 하였는가?
•
병원에서 보편적으로 사용된 홀터 중 벤치 마킹한 제품이 10초 단위로 Labeling을 제공되었으며, 10초 단위로 인공지능이 분석한다면 비트 단위 대비 빠른 진단 결과를 제공할 수 있을것으로 판단함
리뉴얼 프로젝트가 진행되는 동안, 판독팀과 개발팀간 결과 리포트 데이터를 수정하는 Dev Operation을 임시적으로 운영하여 이슈를 핸들하였습니다.
#가설 및 실행
1.
10초 단위가 아닌 비트 단위 AI labeling 분석 결과를 제공한다면, 임상병리사(내부 및 의료진)의 판독 정확도가 개선될 것이다.
•
Risk 10초 단위 대비 비트단위 데이터를 조회하며 편집하는 과정으로 정확도 높은 분석이 가능하겠지만, 판독사의 업무 비중과 피로도가 증가 될 것이다. 이는, 검사 기간이 긴 데이터가 누적될 수록 판독량이 증가되어 기한 내 리포트를 전달하지 못하는 사례가 발생할 수 있다.
2.
부정맥 유형별 정확한 결과를 제공하며 결과지(MEMO Report) 정보 재 배치 및 가독성 개선으로 경쟁사 대비 의료진이 더더욱 사랑하는 제품이 될 것이다.
•
Risk 홀터, 경쟁사 제품의 분석 결과 및 결과지에서 제공되는 정보들은 대부분 같거나 유사하여 의료진이 MEMO 제품에 대한 특별하거나 차별점을 인지하지 못할 수 있다.
“기존 분석 로직과 편집 정책, 결과지를 대대적으로 개편하자고..?”
환자의 심전도 건강 상태를 정확하게 분석하는 제품이어야 의료진의 신뢰를 얻어낼 수 있습니다.
우리가 타겟하는 시장과 방향성에 대해 점검 해볼까요?분석의 코어 로직부터 심전도 데이터를 Beat, millisecond 단위로 판독 가능한 인터페이스 및 구조를 재 설계하는 수준의 PRD를 정리하여 정확한 메타 정보를 집계하는 방향으로 리뉴얼 목표와 범위를 수립하였습니다.
[Flow ideation]
[UI/UX draft]
HR Review: 검사기간 동안 환자의 평균 심박수 분포를 표시하여 심박 변동성을 검토하는 흐름 추가
Edit Events(Arrhythmia): 부정맥이 발생한 시작~종료 시점을 정확하게 편집 및 조회하는 흐름 변경
Edit Report: 편집한 부정맥의 특정 10초 스트립을 리포트에 추가하는 흐름 변경
2022년 3-4분기 개발 스프린트 과정마다 중간점검 테스트를 진행하였습니다. 스프린트 목표를 상기하며 Medical Affairs, QA 유관팀과 테스트를 통해 기능, 성능, 효율 관점으로 점검할 수 있었습니다.
[1~4차 플랫폼 팀 테스트, 5~8차 판독팀 테스트 수행]
#결과 및 검증
12.10~11 주말간 리뉴얼 버전 배포와 테스트 자동화 툴로 모니터링을 완료했습니다.
[리뉴얼 버전 배포 공지]
리뉴얼 버전부터 판독사가 선택한 비트 또는 구간 단위로 event labeling(편집)이 가능하여, 발생한 부정맥 데이터를 정확하고 세밀하게 제공할 수 있게 되었습니다. 한편으로, 임상병리사의 편집량이 증가됨에 따라 판독 시간이 지연될 수 있다는 우려가 있었습니다. 한달 간 모니터링을 통해 확인한 결과, 제품의 성능 및 퍼포먼스 향상으로 월 평균 분석 완료 건이 2배 증가했으며, 기존 Ops(개발팀을 통한) 편집 의존도는 89% 줄어들었습니다.
판독팀의 검사별 편집 업무가 늘어난 건 FACT이나, 종합적인 시스템 개선과 판독팀의 툴 사용 능숙도가 늘어남에 따라 위와 같은 긍정적인 평가를 만들어낼 수 있었습니다.
추가로 종합/상급 병원 의료진의 짧은 진료시간 이내 진단을 내리는데 필요한 분석 결과를 신속하게 획득하기 위해 결과지(우측 이미지) 개선 버전이 배포되었습니다. 물론, 기존 심전도 결과지와 동일하거나 유사한 정보들을 제공하여 우위강점은 쉽게 인지할 수 없겠으나, 의료진의 VOC를 수집 및 분석함으로써 개발 조직이 제품에 대한 이해를 높일 수 있었습니다.
#최근 업데이트
이후 의료진의 피드백을 참고하여 2024년 2분기 리포트 제품(모듈) 개선을 진행했습니다. 상급 및 종합 병원 의료진으로부터 개선된 버전에 대한 긍정적인 피드백을 확인할 수 있었습니다.
[배포 및 모니터링 진행]
[배포 완료 공지]
Lessons Learned
•
의료기기 제품의 안정성과 임상적 가치를 입증할 수 있는 인허가 문서를 지속적으로 관리할 수 있는 체계가 필요했습니다. 제품에 대한 고객의 필요를 적시적때 제공하는 노력과, 기획/기술/임상 관점에서 인증 문서를 업데이트하는 노력들이 병행하여 진행되었습니다. 한편으로, 인증문서를 업데이트하여 최종 인허가를 받기까지 평균 50여일이 소요되어 각 구성원의 본연 업무에 온전히 집중할 수 없었습니다. 또한, RA(Regulatory Affairs)팀의 관점에서 인허가 대상 제품 5개의 변경사항을 지속적으로 추적하며 이를 각 문서에 반영하기에 어려움이 있었습니다.
의료기기 인허가 문서 종류
◦
식품의약처의 관리 감독을 받는 의료기기 스타트업의 특수성을 고려하여 “프로젝트를 완수한다” 의미는 제품의 안전성과 임상적 가치를 입증하기 위한 인허가 문서 반영도 포함되어야 합니다. 이를 위해 프로젝트마다 phase-out sprint 기간에 IFU(Intruction For User Guide) 및 KFDA 문서 작업을 병행하여 관리했습니다.
◦
인허가 문서에 참여하는 R&D 조직 및 임상 등 유관팀 간 협력과 원활한 커뮤니케이션과 조력이 필요했습니다. RA팀이 인허가 문서를 관리하는 팀이다보니, 문서 작성에 참여하는 구성원 모두 수동적으로 소통하여 협업의 부재 및 일부 문서 내용 중 담당자가 모호한 Gray zone이 발생하였습니다. 이후, 5개 제품의 변경점을 깊이있게 이해하는 각 PMs, RA팀간 인허가 문서의 관리(변경점 작성, 검토 및 보완)체계를 갖추며 병행하는 업무 효율도 함께 높일 수 있었습니다.
•
인공지능팀, 디바이스팀, 소프트웨어팀의 업무 기간과 테스크 관리 방식이 다르다는 것을 경험하였습니다. 각 팀의 제품이 cross-functional하게 동작하는 프로세스로 각 팀의 업무 목표와 진행 현황, 목표 기간 등을 조율하며 투명성있게 공유하는 업무 문화를 함께 만들었습니다.
◦
MVP 개발 당시 “심혈관 전문과에서 처방 및 진단 가능한 웨어러블 심전도 분석 제품을 개발한다”의 목표를 기반으로 모든 팀의 자율로 개발 로드맵을 정의하고 개발을 진행하였습니다. (총괄)Project Manager & CPO 주관하에 하나의 목표로써 업무가 진행되었으나, 팀 간 프로젝트 범위와 리소스, 기간 차이로 인해 진행 현황에 대한 가시화가 모호했습니다.
◦
MVP 리뉴얼 이후에는, OKR > Initiative > Epic 단위로 R&D 산하 각 팀의 연간/분기 방향성과 업무를 조율하여, Initiative 하위에 Epic들을 배치하여, 모든 구성원의 업무가 어느 Initiative, Key Result에 기여하는지 파악할 수 있도록 관리하였습니다.
◦
국내, 해외 제품 및 신규 제품들이 점차 늘어남에 따라 Initiative 하위에 다양한 프로젝트의 Epice들이 증가하게 되었으며, Epic들의 연계성을 파악하는데 어려움이 있었습니다. [OKR > Initiative > “Theme” > Epic] 구조로 목표와 업무를 설계하여, 프로젝트간 협업이 필요한 유관팀들의 업무를 파악 할 수 있었습니다.