Sign Bridge
AX / AI
Client / Industry · 접근성 · 커뮤니케이션 앱
Android 네이티브 — 수어 인식·출력 양방향 소통
Problem
문제
수어 사용자와 비수어 사용자가 같은 대화에 참여하려면 통역·메모 등 우회 수단에 의존하는 경우가 많습니다.
현장(가족·직장·서비스)에서는 네트워크가 불안정해도 바로 쓸 수 있는 도구가 필요했습니다.
Solution
해결
수어 인식(손 → 글·음성)과 수어 출력(말·글 → 수어)을 한 앱 안에서 모드별로 분리해, 대화 흐름을 끊지 않도록 설계했습니다.
인식·재생을 가능한 한 기기 내부에서 처리하는 방향으로 범위를 잡아, 이동 중에도 사용할 수 있게 했습니다.
Scope
수행 범위
- 기획
- Android UI/UX
- Frontend (Compose)
- ML 연동
- On-device 파이프라인
Architecture
시스템 구조
Android 단말에서 CameraX → MediaPipe Hands → TFLite 파이프라인으로 수어 인식을 처리하고, TTS·SpeechRecognizer와 Lottie 수어 출력을 양방향으로 연결했습니다.
Delivery
핵심 결정
1. 온디바이스 우선
실시간 대화에 맞추려 API-only 구조보다 단말 추론 비중을 높였습니다.
2. 양방향 모드 분리
인식과 출력의 입력·피드백 패턴이 달라, 화면과 진입점을 나눴습니다.
Result
결과
- 수어 ↔ 텍스트·음성
- 양방향
- 단일 앱 플로우
- 오프라인 친화
- 현장
- 연결 의존 최소화
Highlights
핵심 포인트
양방향 소통
듣거나 말하기 어려운 상황에서도, 수어 ↔ 글·소리를 오갈 수 있도록 인식 모드와 출력 모드를 나누었습니다.
현장 사용
외출 중에도 기기만으로 동작하는 범위를 넓혀, 데이터·연결에 덜 의존하도록 방향을 잡았습니다.
눈에 편한 UI
고대비 다크 톤과 강조색으로 버튼과 안내가 잘 보이게 하고, 길게 써도 부담이 덜한 색 구성을 지향했습니다.
Technology
기술 (도구)
문제 해결을 위해 선택한 기술입니다. 스택 자체보다 요구사항·운영 조건에 맞춘 선택입니다.
Screens
화면
