Capstone - VR 교육 시스템: 실시간 피드백 및 AI Agent 기반 절차형 학습 모듈

부산대학교 정보컴퓨터공학부 2024 후기 캡스톤 프로젝트
실시간 피드백 및 AI Agent 상호작용 기반 VR 절차형 학습 시스템 구축

📌 프로젝트 개요

VR 기반 훈련 시스템은 몰입도를 높여 실습 중심의 교육 효과를 제공하나, 기존 시스템은 실시간 절차 피드백 부족, 순서 오류 감지 부재, 실시간 질의응답 부재라는 한계가 존재했습니다.

본 프로젝트는 이를 해결하기 위해:

• 사용자의 절차 기반 행동을 실시간으로 모니터링, 오류 감지 및 피드백 제공
• AI Agent 기반 음성 상호작용 및 질의응답 제공
• 화재 대피 및 소화기 사용 시나리오를 기반으로 절차형 학습을 가능하게 합니다.

구성원

강원우	조현진

• 지도교수: 이명호

프로젝트 목표

1. 절차 기반 실시간 피드백: 사용자의 행동 절차를 실시간으로 추적·평가, 즉각적 시각·음성·진동 피드백 제공.
2. AI Agent 상호작용: 음성 기반 질문-답변 시스템으로 학습 중 궁금증 해결 가능.
3. 절차 중심 학습 설계: 순서를 지켜야 하는 시나리오 기반의 학습 강화.
4. 몰입형 VR 환경: 위기 상황에서 실질적 대응 능력 향상.

시스템 구성도

씬 구성도

전체 씬 구성도

맵 A 구성도

맵 B 구성도

소화기 씬 구성도

🗂️ 주요 기능

1️⃣ 실시간 절차 피드백

• 절차 기반 시퀀스 락: 단계 미완료 시 다음 단계 불가
• 오류 발생 시 즉각 피드백: UI/음성/진동으로 경고
• End UI 절차별 평가: 누락/오류 단계 시각 표시 및 상세 설명 제공

2️⃣ AI Agent 기반 상호작용

• 음성(STT) → Gemini API 처리 → TTS 음성 안내
• 사용자가 질문 (“문이 어디야?”, “다음 단계는?”) 시:
  • 관련 오브젝트 하이라이트 및 방향 안내
  • 음성 및 시각 가이드 제공
• 평균 질의응답 응답 속도: 4.06초 (Send + Response Time)

3️⃣ 절차형 시나리오 기반 학습

🧯 화재 대피 훈련

• 화재 인지 (연기/경보)
• 젖은 천 호흡 보호
• 문 온도 확인
• 비상 경보
• 연기 속 포복 (머리 0.5m 이하 유지)
• 비상문 탈출
• 맵 랜덤화로 반복학습 방지

🔥 소화기 사용 훈련

• 소화기 들기
• 안전핀 제거
• 노즐 조준 (각도 30도 이내)
• 분사 및 화재 진압

4️⃣ 연습모드 & 평가모드

연습모드	평가모드
피드백 및 가이드 활성화	피드백 최소화
AI Agent 질문 가능	AI Agent 제한/비활성화
절차/위치 하이라이트 제공	스스로 판단 필요

사용된 기술 스택

개발 언어

• C#: Unity 기반 개발.
• C++: 성능 최적화 및 데이터 처리.

개발 도구

• Unity: 3D 환경 개발 (Unity Editor: 6000.0.32f1).
• Blender: 애셋 제작 (화재 환경, 헝겊, 방화벽 등 모델링).
• Adobe Premiere Pro & Photoshop: UI 및 시각 자료 제작.

사용 장비

• Oculus Quest 2: VR 테스트 및 시뮬레이션.

설치 및 실행 방법

Prerequisites

• Unity 6000.0.32f1 이상 설치
• Oculus Quest 2 (또는 호환 가능한 VR 기기)
• XR Interaction Toolkit 설치

설치방법

1. 이 저장소를 클론합니다:

   git clone https://github.com/[Your-GitHub-Username]/[Your-Repo-Name].git

2. Unity Hub에서 프로젝트를 열고, Assets/Scenes/MainScene을 실행합니다.
3. VR 기기를 연결하고, Oculus Link를 통해 디바이스와 연동합니다.
4. Unity에서 Play 버튼을 눌러 실행합니다.

프로젝트 진행 일정

• 중간 보고서 및 평가표 제출: 2025년 3월 24일 (월)
• 최종 보고서 및 평가표 제출: 2025년 5월 26일 (월)
• 졸업과제 발표 심사: 2025년 6월 16일 ~ 6월 20일
• 결과 업로드: 2025년 6월 말 ~ 7월 초

참고 문헌

• 최지원 외, (2024). "방사선비상진료 대응 VR교육을 위한 VR교육 모델링 시스템에 관한 연구." 디지털콘텐츠학회논문지, 25(7), 1861-1871.
• 정정환 외, (2024). "방사선학과 학생들의 VR 교육 만족도 조사." 한국콘텐츠학회논문지, 24(7), 473-480.
• 최성, (2021). "VR 기반 프로그램을 활용한 과학적 모형 구성 수업의 개발과 효과." 서울대학교 대학원 박사학위 논문.

기여 방법

이 프로젝트는 오픈 소스로 제공되며, 누구나 기여할 수 있습니다. 버그를 발견하거나 새로운 기능을 제안하고 싶다면, 이슈를 등록하거나 풀 리퀘스트를 제출해주세요!

라이선스

이 프로젝트는 MIT License 하에 배포됩니다.