멀티모달 모델

의료 영상의 공간 추론 한계

의료 영상·언어 모델은 여러 과제에서 유망한 성능을 보이지만, 통제된 공간 추론에서는 해부학적 구조와 병변 사이의 관계를 영상 근거에 안정적으로 연결하지 못할 수 있다. 방사선학적 판단은 상대적 위치 이해에 의존하므로 이러한 약점은 진단 정확도에 위험을 줄 수 있다.

모듈형 검증

모듈형 공간 관계 검증은 질문에 곧바로 답을 생성하는 대신 자연어 질의를 구조화된 관계 튜플로 변환하고, 탐지기로 관련 장기의 위치를 찾은 뒤, 객체 중심점에 결정론적 기하 규칙을 적용한다. 이 구성은 중간 표현과 판단 단계를 사람이 점검할 수 있게 한다.

평가 결과

축상 CT 슬라이스를 대상으로 한 시스템의 최상위 하이브리드 구성은 홀드아웃 MIRP 공간 질의응답 벤치마크에서 정확도 94.1%, F1 94.2%를 기록했다. 직접적인 Qwen2-VL 프롬프팅과 비교하면 정확도가 42.5%포인트 높았다.