팀 프로젝트 · 웹 · 백엔드 · 기획Ficial
손으로 배우는 수어 AI 스튜디오 — 3D 아바타로 보고 따라 하고, 카메라로 바로 확인하는 한국 수어 학습
무엇을 만들었나
Ficial은 한국 수어 지문자를 누구나 쉽게 배우는 학습 플랫폼입니다. 국내 농인은 약 39만 명이지만 수어를 배울 접근 가능한 도구는 많지 않고, 교재·영상은 정지된 손 모양만 보여줘 손가락 각도·방향을 따라 하기 어렵습니다. 무엇보다 혼자 연습하면 "내가 맞게 하고 있는지" 확인할 방법이 없습니다.
Ficial은 이 문제를 배우고 · 연습하고 · 인식한다는 하나의 흐름으로 풉니다. 3D 아바타가 정확한 손 모양을 시범 보이고, 퀴즈와 약점 복습으로 반복하게 하며, 마지막엔 카메라로 내 손을 실시간 채점합니다. 보고 따라 한 것을 곧바로 확인하는 양방향 학습이 기존 앱과의 핵심 차별점입니다.
① 배우기 — 단계별 학습
학습자 홈에서 오늘 배울 자모를 3D 아바타가 시범 보이고, 레슨 트리를 따라 단계적으로 진행합니다. 지문자 치트시트와 수어 가이드로 표준 자음·모음 형태를 언제든 참고할 수 있고, 교육 센터에서는 커리큘럼 기반 강의를 제공합니다.
② 사전 & 3D 아바타 시연
KSL 사전에서 자음·모음·숫자·단어를 통합 검색하면, 3D 아바타가 해당 자모의 손 모양을 직접 시연합니다. 회전하는 3D 캐릭터가 손가락·손목·팔 관절을 실제로 움직여 보여주므로 2D 차트로는 알 수 없는 방향과 각도까지 이해할 수 있습니다. 텍스트를 입력하면 자모로 분해해 아바타가 순차로 시연하고, 음성을 수어로 옮기는 화면도 제공합니다.
③ 실시간 인식 — 카메라로 채점
카메라를 켜고 손을 보이면 AI가 자모를 실시간으로 인식합니다. 인식된 자모는 한글로 조립되고, 그 단어를 다시 아바타가 시연해 학습 루프가 닫힙니다. 인식 통계 화면에서는 정확도와 진행 상황을 한눈에 확인할 수 있습니다.
3D 아바타 스튜디오
아바타 스튜디오와 관절 컨트롤러는 수어 모션을 직접 만들고 다듬는 도구입니다. 쿼터니언 기반으로 본(bone)을 제어해 관절이 꺾이지 않게 하고, 준비–접근–강조–유지–정착의 5단계 모션과 이징으로 자연스럽게 재생됩니다. reduced-motion·WebGL 미지원·스크린리더까지 고려한 접근성을 갖췄습니다.
교육자 · 관리자 — 플랫폼으로 확장
단순 학습 앱을 넘어 학습자 · 교육자 · 관리자 3단계 권한 구조를 갖췄습니다. 교육자는 챕터 스튜디오에서 직접 단원을 만들고, 관리자는 데이터 트레이너로 학습 샘플을 수집하고 AI 파이프라인·모델 운영·인식 분석을 관리합니다.
AI 인식 모델
손 21개 점의 3D 좌표를 28프레임 모은 시퀀스를 입력으로, 다중 스케일 시간 합성곱과 BiLSTM·어텐션으로 자모를 분류합니다. 인식 후 온도 보정·스무딩을 거쳐 한글로 조립하고, 그 결과를 다시 아바타가 시연합니다. 프론트엔드(React 19·Three.js·MediaPipe)와 Node WebSocket API, Python 추론 서버(CNN-LSTM)가 "카메라 → AI → 화면"으로 실시간 연결됩니다.
팀 · 역할
한국공학대학교 소프트웨어공학 과제로 제작했습니다. 박준하가 프론트엔드·학습 플랫폼·인증·DB·CI·기획을, 김민준이 3D 아바타와 AI 인식 모델·모션 파이프라인을 맡았습니다.
질문 & 답변
궁금한 점을 남겨주세요 — GitHub 로그인이 필요해요.