You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
AWS · GCP · 온프레미스 사이에서 앱과 DB를 함께 옮기고, 장애가 나면 다른 환경이 이어받는 배포 플랫폼
실행 환경을 바꿀 때는 DB를 복사하고 검증한 뒤 공개 주소를 전환하고, 운영 중 어느 한쪽이 멈추면 엣지에서 살아 있는 환경으로 요청을 넘겨 서비스와 데이터를 이어 갑니다.
SoftBank Hackathon 2026 in Korea 예선 (Term1)
Vercel처럼 GitHub 주소와 인증 정보만 넣으면, 플랫폼이 레포를 클론해 배포하고 HTTPS가 적용된 접속 URL을 돌려줌. 프로젝트를 만들 때 배포 모드를 고른다. 만든 뒤에는 바꾸지 않는다.
경로
DB
버스팅
거점 전환
PC 가 꺼지면
하이브리드 · 클라우드
Cloudflare → ALB → k3s
AWS RDS
거점이 클라우드라 해당 없음
CNAME 만 바꿈
이미 클라우드
하이브리드 · 내 PC · RDS
Cloudflare → 터널 → PC. 넘친 요청만 k3s
PC 는 ssh -L, 대기 Pod 는 RDS 직접
있음
CNAME 만 바꿈
대기 Pod 가 이어받음
하이브리드 · 내 PC · 로컬/기존 DB
Cloudflare → 터널 → PC. 넘친 요청만 k3s
lily-postgres·lily-mysql 또는 사용자 DB. 대기 Pod 는 ssh -R
있음. PC 가 꺼지면 DB 도 끊김
PostgreSQL 이면 데이터 이전 후 CNAME
앱은 멈춤. 읽기 사본·쓰기 보관을 켜면 공개 GET 은 엣지 사본으로 200, POST 는 쓰기 큐에 쌓였다가 PC 복구 후 순서대로 반영
온프레미스 전용
Cloudflare → 터널 → PC
PC 의 lily-postgres 또는 lily-mysql. 역방향 터널 없음
없음
없음
앱은 멈춤. 읽기 사본·쓰기 보관을 켜면 공개 GET 은 엣지 사본으로 200, POST 는 쓰기 큐에 쌓였다가 PC 복구 후 순서대로 반영. TLS 는 Cloudflare 에서 끝남
하이브리드 안에서 고르는 클라우드/내 PC 는 거점이다. DB 가 RDS 이면 거점 전환은 CNAME 만 바꾼다. 내 PC 거점은 로컬 DB 와 기존 DB 도 고를 수 있고, 그때 대기 Pod 는 역방향 터널로 같은 DB 를 본다. 온프레미스 전용은 DB 를 PC 컨테이너로 고정하고 버스팅과 거점 전환을 거절한다. 기존 프로젝트는 하이브리드다.
GitHub URL + 인증 정보 입력
→ 레포 클론 · 이미지 빌드 (CI)
→ DB 준비 · 마이그레이션 자동 적용
→ 블루-그린 / 카나리 트래픽 전환 (CD · LB)
→ 카나리 판정 통과 시 전환 완료, 에러율 · 응답 시간 악화 시 자동 롤백
→ HTTPS 접속 URL 반환 (https://{app}.lilycloud.kr)
→ 로그 수집 · 메트릭 대시보드
핵심은 안정적인 무중단 배포임. 기본 모듈을 먼저 완성한 뒤 AI 기능을 단계적으로 붙임.
핵심 차별화
유지
전환
무중단 재배포
공개 주소. 판정이 끝나기 전까지는 이전 슬롯이 계속 트래픽을 받고, 이후 20%씩 새 버전으로 넘어감
Ready 이후 30초간 새 슬롯과 이전 슬롯의 에러율·p95를 비교하고, 통과하면 카나리 비중을 20%씩 올려 100%에서 전환함. 그동안 두 버전이 같은 DB를 쓰고, 스키마 변경은 pgroll이 두 버전을 함께 맞춤. 실패하면 새 버전을 지우고 이번 배포에서 바꾼 스키마를 되돌림
클라우드 버스팅
공개 주소와 터널
로컬 동시 처리 한도를 넘긴 요청만 클라우드로 넘어감. 실측 1,714건 모두 200, 그중 40%를 클라우드가 처리, 부하 종료 20초 뒤 PC로 복귀
클라우드와 온프레미스 거점 전환
공개 주소. 목적지가 준비되기 전까지는 출발 거점이 트래픽을 받음
주소가 가리키는 거점 전체. CNAME 대상만 바꿈
내 PC 장애 전환
공개 주소. PC가 응답하지 못한 요청만 클라우드로 감
엣지 Worker가 같은 요청을 클라우드 대기 Pod로 다시 보냄. PC를 멈추거나 꺼도 1.4~1.9초 안에 클라우드가 응답, 실패 0건. 60초 넘게 끊기면 CNAME도 ALB로 바꿈
PC 장애 중 읽기·쓰기 유지
DB가 PC에 있어 클라우드가 이어받지 못하는 앱도 공개 주소가 응답함
평소 PC가 준 공개 GET 응답을 엣지 Cache API에 사본으로 두고, 장애 중에는 그 사본으로 200. 장애 중 POST는 앱별 Durable Object에 암호화해 쌓고 202, PC가 돌아오면 받은 순서대로 다시 보냄. 배포 화면 체크박스로 켜고 끔 (기본 둘 다 켜짐)
멀티클라우드 (AWS + GCP)
공개 주소와 DB. DB는 GCP Cloud SQL 하나이고 AWS 쪽 Pod는 DB 릴레이로 같은 DB를 씀
한 번 빌드해 두 클러스터에 띄우고, 엣지 Worker가 요청마다 화면에서 정한 비율로 GCP와 AWS에 나눔. 한쪽이 받지 못하면 GET은 다른 쪽으로 다시 보냄. 실측 비율 65%에 200건 중 132건이 GCP, 한쪽 앱이나 클라우드를 끊어도 GET 실패 0건
온프레미스
인바운드 포트는 닫힌 상태로 둠. 인증서 개인키와 AI 키는 PC에 두지 않음. 빌더 서버는 소스를 받지 않음
에이전트가 WebSocket으로 먼저 연결하고, clone·빌드는 특권 권한 없이 worker 노드의 Kaniko가 수행함
AI
배포와 롤백은 규칙이 결정함
규칙으로 분류되지 않는 실패와 설정 키만 모델에 물음. 호출이 실패하면 규칙 결과를 유지하고, 사용자 값과 DB 비밀번호는 보내지 않음
빌드 파일과 설정을 읽어 결정함. PostgreSQL / MySQL 흔적을 찾으면 테넌트 DB를 만들어 접속 정보를 환경변수로 주입함
프론트 · 백엔드 분리 구성
backend/ + frontend/처럼 서버 하나와 정적 프론트 하나면 한 이미지로 묶어 주소 하나로 띄움. 같은 출처라 CORS 설정이 필요 없음
공개 레포가 아님
토큰을 넣으면 빌드하는 동안만 k3s Secret으로 Kaniko에 넘기고, 끝나면 삭제함
팀 전체 그림
공개 주소는 배포를 반복해도 그대로 유지함. 바뀌는 것은 그 주소가 가리키는 대상임.
하는 일
카나리 · 롤백
새 버전이 Ready가 되어도 바로 100%로 넘기지 않음. 30초 동안 새 슬롯과 이전 슬롯의 에러율 · p95를 비교하고, 통과하면 카나리 비중을 20%씩 올려 100%에서 Service를 새 슬롯으로 옮김. 실패하면 새 버전을 지우고 스키마를 되돌리며, 트래픽은 이전 슬롯에 남김. 이미 넘긴 뒤에는 이전 슬롯을 다시 띄워 복귀시키고, 롤백 창(10분) 안이면 스키마도 행 손실 없이 되돌림 (pgroll).
버스팅
거점이 사용자 PC일 때, 로컬이 동시에 처리하는 요청이 한도를 넘으면 그 요청만 클라우드로 넘김. 공개 주소는 터널에 그대로 있고, 부하가 끝나면 다시 PC가 받음.
거점 전환
같은 주소의 트래픽 전체를 PC와 클라우드 중 한쪽으로 옮김. 버스팅(요청 일부)이나 블루-그린(한 거점 안의 버전 교체)과는 다름. CNAME 내용물만 바꾸고, 목적지가 준비되기 전에는 출발 거점을 유지함. DB도 옮기도록 고르면 출발 쪽 쓰기를 멈추고(프록시 503) 내 PC DB와 RDS 사이에서 복사한 뒤 주소를 바꿈.
모니터링
앱 코드를 고치지 않고 입구에서 관측함. 요청 지표와 슬롯 · 버전이 붙은 로그를 모아, 앱마다 지금 괜찮은지를 색과 한 줄로 알림.
아키텍처
flowchart LR
FE["lily-frontend<br/>계정 · 프로젝트"] --> BU["lily-builder<br/>레포 확인 · 빌드 · 배포 요청"]
BU -->|클라우드| CD["lily-cicd<br/>블루-그린 / 카나리 · 롤백 · DB"]
CD --> K8S(["k3s · Nginx Ingress<br/>HTTPS 접속 URL"])
BU -->|"내 PC<br/>(WebSocket)"| ON["lily-on-premise<br/>로컬 Docker 블루-그린"]
ON -.->|"버스팅: 넘친 요청만"| K8S
ON <-.->|"거점 전환: 주소 전체"| K8S
K8S --> OB["lily-observer<br/>지표 · 로그 · 위험도 판정"]
ON --> OB
Loading
어디서 실패해도 주소는 살아 있음
장애 지점(앱 · 새 버전 · 배포 엔진 · 내 PC)마다 감지와 자동 전환을 따로 둠.
실패 지점
사용자가 보는 것
Lily가 하는 일
레포 확인
이유가 적힌 FAILED
빌드를 시작하지 않음. 브랜치나 앱을 못 찾으면 폴더 목록과 함께 알림
이미지 빌드
단계별 빌드 로그와 원인
AiAdvisor가 로그를 읽고 원인을 기록함. 기존 버전은 계속 서비스 중임
새 슬롯 기동
기존 버전 그대로
비활성 색 슬롯에만 띄우고, Ready 전에는 트래픽을 넘기지 않음
카나리 판정
기존 버전 그대로
새 버전을 지우고 스키마를 되돌림. 트래픽은 이전 색에 남음
전환 이후 장애
잠깐의 오류 뒤 이전 버전
이전 슬롯을 다시 띄워 트래픽을 복귀시킴. 롤백 창 안이면 스키마도 함께 되돌리고 그사이 쓴 행은 남김
배포 도중 엔진 중단
기존 버전 그대로
앱별 Lease로 동시 배포를 막고, 스키마만 바뀐 채 멈췄으면 되돌림
내 PC 과부하
응답은 계속 200
넘친 요청만 클라우드로 보내고, 부하가 끝나면 PC로 복귀함
PC 재부팅 · 에이전트 재시작
같은 주소로 계속 응답
앱 컨테이너는 다시 뜨고, 에이전트가 슬롯 · DB 터널 · 버스팅을 다시 붙임
한쪽 클라우드 장애 (AWS + GCP 앱)
응답은 계속 200
엣지 Worker가 받지 못한 쪽(연결 실패·530, GET은 502/503/504까지)을 10초 건너뛰고 다른 클라우드로 보냄. 쓰기는 두 번 처리될 수 있어 다시 보내지 않음
내 PC 정지
GET은 1~2초 안에 클라우드가 응답
버스팅 대기 Pod가 있는 앱은 엣지 Worker가 클라우드로 다시 보냄. 60초 넘게 끊기면 CNAME을 ALB로 바꿈. DB가 PC에 있는 앱은 엣지의 읽기 사본(Cache API)으로 GET에 200, POST는 Durable Object에 쌓고 202 → PC가 돌아오면 순서대로 반영
Cloudflare Tunnel — 인바운드 포트 없이 공개 주소 연결, 인증서는 Cloudflare 엣지. PC 장애 시 Cloudflare Worker(lily-edge)가 {app}-cloud.lilycloud.kr(ALB)로 다시 보내고, 공개 GET은 Cache API 사본으로, POST는 Durable Object(SQLite) 쓰기 큐로 버팀
멀티클라우드
AWS + GCP 앱은 Artifact Registry와 ECR에 같은 이미지를 올리고 두 클러스터에 배포. DB는 Cloud SQL 하나이고, AWS 클러스터의 db-relay-gcp가 GCP 배스천으로 ssh -L을 열어 둠 (인증서는 builder가 6시간마다 다시 서명)
데이터
플랫폼 DB: DynamoDB / 사용자 앱 DB: Amazon RDS (PostgreSQL), GCP 앱은 Cloud SQL. 내 PC 앱은 PC의 DB 컨테이너(PostgreSQL · MySQL)나 사용자가 쓰던 DB도 고를 수 있음
DB 터널
lily-server의 lily-tunnel 계정. 에이전트는 플랫폼 SSH CA가 서명한 인증서로 RDS 포트 포워딩(ssh -L)이나, 인증서에 적힌 포트 하나의 역방향 포워딩(ssh -R, PC DB → 클라우드 대기 Pod)만 열 수 있음
비밀 정보
테넌트 DB 비밀번호는 SSM Parameter Store(SecureString), 사용자 PC에는 AI 키를 두지 않음
배포의 입구이자 컨트롤 플레인. GitHub 주소를 받아 이미지를 빌드하고, 클라우드면 lily-cicd에 배포를 요청함. 내 PC면 붙어 있는 에이전트로 잡을 보냄. Dockerfile이 없으면 빌드 파일을 보고 만들고, 포트 · 헬스 경로 · DB도 레포를 읽어 결정함.