이 저장소는 DART 공시를 수집해 정형 재무 데이터는 SQLite에, 비정형 공시는 FAISS에 저장한 뒤 질의응답하는 금융 RAG 프로젝트입니다.
현재 권장 실행 경로는 backend/의 FastAPI 백엔드와 frontend/의 Streamlit UI입니다.
- 백엔드:
backend/src/api_server.py - 파이프라인:
backend/src/pipeline.py - 프론트엔드:
frontend/streamlit_app.py - 평가 스크립트:
eval/ - 검증 스크립트:
tests/ - 저장 산출물:
backend/storage/
.
├── backend/
│ ├── src/
│ │ ├── api_server.py # FastAPI 백엔드
│ │ ├── pipeline.py # DART 수집 및 인덱스 재생성
│ │ ├── dart_service.py # DART 수집/정규화
│ │ ├── document_processor.py
│ │ ├── finance_store.py # SQLite 저장/조회
│ │ ├── index_manager.py # FAISS 저장/검색
│ │ ├── rag_service.py # 질의응답 로직
│ │ ├── summary_service.py # 프론트엔드 요약 카드 생성
│ │ ├── stock_service.py # 주가 데이터 조회
│ │ ├── company_lookup.py # 기업 해석/검색
│ │ ├── config.py # 경로/모델/상수 설정
│ │ └── logging_config.py
│ └── storage/
│ ├── finance.db
│ └── companies/{stock_code}/
│ ├── raw/
│ ├── cleaned/
│ └── indexes/{regular,event}/
├── frontend/
│ ├── streamlit_app.py # Streamlit 진입점
│ ├── app.js
│ ├── index.html
│ ├── styles.css
│ ├── assets/
│ ├── services/
│ ├── ui/
│ └── utils/
├── eval/
├── tests/
├── docs/
├── requirements.txt
├── run.sh
└── LICENSE
의존성 설치:
pip install -r requirements.txt필수 환경변수:
DART_API_KEY=...
OPENAI_API_KEY=...코드가 .env를 자동으로 읽습니다. 실행 환경에 따라 backend/.env와 저장소 루트 .env 중 하나에 두면 됩니다.
./run.sh startrun.sh는 FastAPI 백엔드와 Streamlit 프론트엔드를 함께 올리고, 로그를 backend/logs/에 남깁니다.
uvicorn backend.src.api_server:app --host 127.0.0.1 --port 8000 --reloadstreamlit run frontend/streamlit_app.py기본 접속 주소:
- 백엔드:
http://127.0.0.1:8000 - 프론트엔드:
http://127.0.0.1:8501
기업별 인덱스를 다시 만들 때는 backend/src/pipeline.py를 직접 실행합니다.
python -m backend.src.pipeline 005930
python -m backend.src.pipeline 351320 --event-only
python -m backend.src.pipeline 005930 --regular-only이 파이프라인은 다음을 수행합니다.
- DART 정기공시 및 수시공시 수집
- 원문 저장
- 텍스트 정제 및 chunk 생성
- SQLite 적재
- 기업별 FAISS 인덱스 생성
- 프론트엔드 요약 카드 갱신
- 정형 재무 수치 조회
- 매출액, 영업이익, 당기순이익 같은 숫자 질문은 SQLite를 우선 사용합니다.
- 사업/리스크 질의
- 사업 설명, 위험 요인, 공시 문단은 FAISS 검색 결과를 사용합니다.
- 이벤트 공시 질의
- 전환사채, 유상증자, 합병, 소송, 주식 취득 같은 수시공시를 다룹니다.
- 요약 카드
overview,benefit,earnings,risk,changing,status,anomaly를 제공합니다.
- 투자 조언 차단
- 매수/매도, 목표가, 포트폴리오 비중 제시는 응답하지 않습니다.
실제 산출물은 backend/storage/ 아래에 저장됩니다.
backend/storage/finance.db- 기업, 공시 메타데이터, 재무 수치, 이벤트 공시, chunk 매핑을 저장합니다.
backend/storage/companies/{stock_code}/raw/- DART 원문 XML 파일이 저장됩니다.
backend/storage/companies/{stock_code}/cleaned/- 정제된 텍스트 파일이 저장됩니다.
backend/storage/companies/{stock_code}/indexes/regular/- 정기공시 FAISS 인덱스가 저장됩니다.
backend/storage/companies/{stock_code}/indexes/event/- 수시공시 FAISS 인덱스가 저장됩니다.
python tests/check_summary_cards.py 삼성전자
python tests/check_realtime_stock.py 005930
python tests/check_frontend_add_company_indexing.py 현대자동차이 스크립트들은 현재 저장소 상태에서 다음을 확인합니다.
- DART 파일 수집 결과가 존재하는지
- FAISS 인덱스가 생성됐는지
- 프론트엔드 요약 카드가 비어 있지 않은지
- 주가 응답 형식이 올바른지
- 프론트엔드의 기업 추가 흐름이 인덱싱으로 이어지는지
eval/에는 RAG 성능 비교와 RAGAS 평가용 스크립트와 결과가 있습니다.
eval/run_ragas.pyeval/compare_rag_vs_general.pyeval/sample_ragas_dataset.jsonleval/ragas_evaluation_report.md