🌐 포트폴리오 thusfar.cloud · 🤗 라이브 데모 dog-care-agent
AI Hub 반려동물 피부질환 이미지 365,428장으로 정상/병변 탐지 → 병변 유형 분류의 2단계 피부 스크리닝 모델을 개발했습니다. 개체 ID·pHash 기반 near-duplicate 그룹핑으로 데이터 누수를 막고, ensemble과 abstention rule로 안내 가능 비율을 41.1% → 66.5%까지 끌어올렸습니다. LLM 응답은 LLM-as-a-Judge와 Human Evaluation을 비교 검증해 Judge 자체의 신뢰도(Cohen's κ=0.77)까지 확인한 뒤 지표로 사용합니다.
모델 개발에서 끝내지 않고 FastAPI로 AI API를 만들고 Android 화면까지 연동해 결과가 사용자에게 닿는 흐름을 직접 구현합니다.
- 🎓 서울사이버대학교 빅데이터정보보호학과 졸업 (2024.03 – 2026.02)
- 🏆 인공지능 모델링 경진대회 최우수상 (1위)
- 📍 현재 심화 AI 활용 인재 양성과정에서 멀티에이전트 AI 비서 앱 댕스 개발 중
개인화 변화 · 프로필 근거 검증 · 병력 환각 점검 · 견종 편향 · 재질문/거절 평가
2단계 스크리닝 · ROI Crop · Ensemble · Calibration · 데이터 누수 방지 · Holdout 검증
API 서버 · DB 설계 · CRUD · AI API 연동
모델 배포 · API 응답 규격 · Git 협업 · 실행 환경 관리
🐶 댕스 – 피부 스크리닝 모델 · LLM 응답 평가 · AI API 및 Android 연동
반려견 케어 멀티에이전트 AI 비서 및 GPS 기반 영토 점령 Android 앱
2026.08 – 진행 중 · 5인 팀 · Python, PyTorch, FastAPI, LangGraph, pgvector, PostgreSQL/PostGIS, Redis, Celery, Kotlin, Jetpack Compose, GCP
담당 업무
- 피부 스크리닝 모델 — AI Hub 반려동물 피부질환 이미지 365,428장으로 정상/병변 탐지(Stage 1) → 병변 유형 분류(Stage 2) 2단계 모델 개발
- 데이터 누수 방지 — 개체 ID와 pHash 기반 near-duplicate를 동일 그룹으로 묶어 train/val/holdout 분할
- 분류 체계 개선 — 3개 모델 예측 확률 평균 ensemble 적용, 6개 병변 형태를 4개 핵심 계열로 재구성
- 안전 장치 설계 — 낮은 confidence에서는 병변 유형을 제시하지 않는 abstention rule과 위험 병변을 경증으로 안내하지 않는 under-triage 기준 설정
- AI API · Android 연동 — AI API 응답을 Kotlin·Jetpack Compose 화면과 연동해 스크리닝 결과 노출 흐름 구현
- LLM 응답 평가 — 반려견 프로필·돌봄 기록에 따른 응답 변화를 LLM-as-a-Judge와 Human Evaluation으로 비교 검증
주요 성과
| 항목 | 결과 |
|---|---|
| Stage 1 holdout | AUROC 0.9304 · 병변 미탐률 5.7% · 정상→이상 오안내율 18.7% |
| Stage 2 안내 방식 재설계 | 오답률 20% 이하 coverage 41.1% → 66.5% (ensemble + 병변 형태 재구성) |
| 실사용 조건 점검 | 이미지 축소·압축·수동 크롭 노이즈 조건으로 추가 검증, 오류 패턴을 촬영 가이드와 판단 보류 로직에 반영 |
| Judge 신뢰성 검증 | 프로필 근거 평가(n=44) Cohen's κ=0.77 확인, 기준 미달 항목은 최종 지표에서 제외 |
문제 해결
| 문제 | 해결 |
|---|---|
| 라벨 bbox 기반 성능이 실제 촬영 환경을 대표하지 않음 | 이미지 압축·수동 크롭 노이즈 조건을 추가해 재검증 → 확신이 낮으면 결과를 제시하지 않는 기준 + 촬영 가이드로 연결 |
| 대화형 전환 후 같은 되묻기가 반복되지만 단일 턴 테스트로는 재현 불가 | 서버와 동일한 규칙으로 앞 대화를 넘기는 14개 대본 작성 → 5개에서 재현 → 후속 발화가 신규 질문으로 처리돼 이전 대화가 전달되지 않는 흐름을 원인으로 특정 |
🐕 dog-care-agent – MCP 서브에이전트 오케스트레이터 · 결정론적 안전 게이트 · LLM-as-a-Judge
댕스에서 남긴 한 칸을 개인 저장소에서 넘은 것 — 피부 모델을 앱이 아니라 오케스트레이터가 루프 안에서 툴로 부른다
2026.09 · 개인 · Python, MCP(stdio), FastAPI, Gemini(OpenAI 호환 tool calling), Ollama, HF Spaces · 라이브 데모 · 트레이스 뷰어
- MCP 서브에이전트 — 행동 상담 RAG 와 피부 2단계 앙상블을 각자 자기 venv 의 stdio 프로세스로 띄우고, 하나가 죽어도 나머지로 답한다
- 모델이 말해도 되는 것을 코드가 정한다 — 6종 병변 이름이 실린 필드를 모델에게 주지 않고, 게이트 8개(G1~G8)가 툴 원본과 대조. 위반이면 한 번 고쳐 쓰게 하고 또 걸리면 LLM 을 빼고 코드가 조립
- 평가 — 라우팅 30문항 × 3회 27/30, 적대적 20문항 × 3회 60턴: 첫 초안 걸림 12 · 최종 위반 0, LLM-as-a-Judge 는 사람 라벨과 보정(93%)한 뒤에만 지표로 씀
- 운영 — 판정 뒤 사진 삭제 · 레이트 리밋 · 회귀 기준선(
compare) · CI(ubuntu/windows/docker/mcp 1.x) · HF Spaces 라이브
🐾 독플갱어 – Persona Inference · App Integration
사진 기반 반려동물 페르소나 생성 및 성장형 다마고치 모바일 앱
2026.07 – 2026.08 · 팀 프로젝트 · React Native, Expo, TypeScript, AsyncStorage, Vision LLM Prompt
- Persona inference pipeline — 사진 입력 → 품종 혼합 비율 → 성격 카드 생성 흐름을 pipeline 모듈로 통합
- Vision LLM prompt 개선 — 품종을 바로 고르지 않고 얼굴 특징을 먼저 관찰한 뒤 품종과 근거를 생성하도록 수정, 특정 품종으로 결과가 쏠리는 문제 완화
- 설명 가능한 결과 구조 — 얼굴 관찰 근거와 품종 추천 결과를 함께 보여 "왜 이 동물과 닮았는지" 근거가 남는 구조 구현
🧊 CookUs – PM · Frontend · DevOps
냉장고 재료를 입력하면 조리 가능한 레시피를 추천하는 서비스
2025.09 – 2025.11 · 4인 팀 · React, Vite, FastAPI, Docker, GitHub Actions, LLM API
- 기획 · PM — WBS 작성, 기능 우선순위 정의, 백로그 관리
- 인프라 · 배포 — Dockerfile로 실행 환경 고정 + GitHub Actions CI/CD 구축 → 배포 시간 20분 → 3분
- 추천 신뢰도 개선 — DB에서 보유 재료 조건을 만족하는 후보를 먼저 필터링한 뒤 LLM에 전달 → 실제 조리 가능한 결과만 노출
| 프로젝트 | 내용 | 핵심 성과 |
|---|---|---|
| 월마트 구매 분석 | 55만건 EDA → 핵심 고객군 추출 | 상관계수 0.73, 마케팅 전략 3가지 도출 |
| 자전거 대여 예측 | 5개 ML 모델 비교 | LGBM R²=0.94, Kaggle 155등 |
| 수상 | 대회 | 시기 |
|---|---|---|
| 최우수상 (1위) | 인공지능 모델링 경진대회 — 사과 병해충 이미지 분류 모델 개발 데이터 증강·하이퍼파라미터 조정 반복으로 분류 정확도 개선, 참가자 중 1위 |
2025.12 |
| 이노베이터상 (2위) | AI 크리에이티브 챌린지 — 생성형 AI 활용 결과물 제작 | 2024.12 |
| 과정 | 기간 | 상태 |
|---|---|---|
| 심화 AI 활용 인재 양성과정 프로젝트 기반 AI Agent 시스템 개발 |
2026.07 – 2026.09 | 수강중 |
| AI 시대 데이터 활용 전Z전능 PM 양성과정 데이터 기반 서비스 기획 · 요구사항 정의 · 우선순위 설계 |
2025.12 – 2026.03 | 수료 |
| AWS Academy Graduate · Cloud Foundations AWS 핵심 서비스 및 클라우드 아키텍처 · 비용 · 보안 기초 |
2025.09 – 2025.12 | 이수 |
| LG U+ WhyNot SW Camp 7기 데이터 분석 · 머신러닝 · 딥러닝, 팀 프로젝트 (Python, FastAPI, Docker, CI/CD) |
2025.05 – 2025.11 | 수료 |
| 자격증 | 발급 | 취득일 |
|---|---|---|
| 정보처리기사 | 한국산업인력공단 | 2025.12 |
| ADsP 데이터분석 준전문가 | 한국데이터산업진흥원 | 2026.03 |
| AIBT 2급 | 한국생산성본부 | 2026.01 |
| Azure Fundamentals (AZ-900) | Microsoft | 2025.03 |
| Azure Data Fundamentals (DP-900) | Microsoft | 2025.02 |
| Azure AI Fundamentals (AI-900) | Microsoft | 2025.01 |
🎾 테니스 & 🎤 보컬 🐶 2021년생 푸들 '네오'와 함께 🧠 INFJ
- 📧 Email: gayoniee16@gmail.com
- 💼 GitHub: github.com/gayeoniee
- 📝 Blog: velog.io/@feel_so_fine



