중증 마비가 있는 사람 3명을 대상으로 한 연구에서 뇌표면전극 하나의 신호로 말과 몸짓을 함께 해독해 가상 아바타를 움직이는 데 성공했습니다. 자연스러운 의사소통에 가까워질 가능성을 보여준 개념증명 연구이지만, 아직 일상에서 누구나 사용할 수 있는 치료기기는 아닙니다.
뇌-컴퓨터 인터페이스는 어떻게 작동하나요?
뇌-컴퓨터 인터페이스(BCI)는 움직이거나 말하려는 순간에 생기는 뇌 신호를 읽어 컴퓨터 명령으로 바꿉니다. 이번 연구에서는 뇌 표면에 고밀도 전기피질검사 전극을 이식하고, 참가자가 상지·얼굴 움직임과 말하기를 시도할 때 나타나는 신호를 기록했습니다.
기존 시스템은 말이나 손동작 가운데 한 가지를 따로 해독하는 경우가 많았습니다. 실제 대화에서는 말과 고개 끄덕임, 손짓이 동시에 일어나므로 두 표현을 함께 읽는 기술이 필요합니다.
연구에서 무엇을 보여줬나요?
연구진은 중증 마비가 있는 참가자 3명에게서 상지와 입·얼굴 움직임을 구분할 수 있는지 먼저 확인했습니다. 이어 말 해독기와 몸짓 해독기를 나란히 작동시켜 참가자가 말과 몸짓을 따로 또는 동시에 시도할 때 개인화된 가상 아바타를 제어하도록 했습니다.
따로 수행한 데이터만으로 학습한 모델보다, 말과 몸짓을 동시에 시도한 데이터까지 학습한 모델이 여러 상황에서 더 잘 작동했습니다. 한 행동을 할 때 다른 해독기가 잘못 켜지는 문제를 줄이고 새로운 말·몸짓 조합으로 확장할 가능성도 제시했습니다.
아직 해결해야 할 과제가 많습니다
참가자는 3명뿐이었고 모두 연구용 고밀도 전극을 수술로 이식한 상태였습니다. 제한된 어휘와 몸짓을 정해진 과제로 반복한 결과이므로 자유로운 일상 대화와는 차이가 있습니다.
뇌 수술의 안전성, 장기간 신호 안정성, 기기 고장과 감염 위험, 개인별 재훈련, 반응 지연과 오인식도 확인해야 합니다. 사용자의 의도와 사생활을 다루는 뇌 신호인 만큼 데이터 보호와 통제권 문제도 중요합니다.
지금 환자와 가족이 알아둘 점
- 이 연구는 의사소통 보조기술의 가능성을 보여준 초기 임상 연구입니다.
- 현재 사용하는 눈동자 추적기, 스위치 입력, 문자판 같은 보완대체의사소통을 임의로 중단할 근거는 아닙니다.
- 말과 움직임이 갑자기 어려워졌다면 기기 상담보다 먼저 뇌졸중 같은 응급 원인을 평가해야 합니다.
- 장기적으로는 신경과·재활의학과·언어치료·보조공학이 함께 맞춤형 소통 방법을 정합니다.
가상 아바타가 표현을 풍부하게 해줄 수 있다는 점은 의미가 큽니다. 다만 정확도뿐 아니라 사용자가 원하는 순간에 안정적으로 작동하고, 가정에서도 유지할 수 있는지가 실제 임상 적용의 핵심입니다.
참고 자료
Simultaneous speech and gesture decoding for multimodal communication in paralysis