PaperPulse

每天自动抓取 arXiv 最新 AI 论文，用大模型生成一句话摘要，定时推送到你的邮箱，让你用 3 分钟掌握 AI 领域每日脉搏。

特性

• 🔍 多源聚合 — arXiv 全量拉取 cs.AI / cs.LG / cs.CL / cs.CV / stat.ML 五个分类
• 🤖 LLM 摘要 — 用 DeepSeek API 为 Top 20 论文生成中文一句话总结（成本约 0.01 元/天）
• 🎯 智能排序 — 引用数 + 关键词匹配 + 时效性加权评分
• 📊 关键词趋势 — TF-IDF 提取每日热词
• 📧 邮件推送 — HTML 报告定时发送到指定邮箱
• 💾 本地持久化 — DuckDB 存储历史快照，支持追溯

架构

arXiv → HuggingFace → Semantic Scholar   数据获取层（三层，可选降级）
                    ↓
         PaperMerger（去重 + 字段合并）
                    ↓
         PaperRanker（多信号评分排序）
                    ↓
         DeepSeek（Top 20 一句话摘要）
                    ↓
         Jinja2 模板 → HTML 报告
                    ↓
         SMTP → 邮箱

快速开始

1. 安装依赖

pip install -r requirements.txt

2. 配置

cp .env.example .env

编辑 .env，填入：

# 邮箱（QQ 邮箱需用授权码，不是登录密码）
SMTP_SERVER=smtp.qq.com
SMTP_PORT=465
SMTP_USERNAME=your_email@qq.com
SMTP_PASSWORD=your_app_password
REPORT_RECIPIENT=recipient@example.com

# DeepSeek API（platform.deepseek.com 注册）
DEEPSEEK_API_KEY=sk-xxx

# Semantic Scholar（可选，semanticscholar.org/product/api）
S2_API_KEY=

3. 运行

# 立即跑一次（拉论文 + 摘要 + 发邮件）
python run_once.py

# 只看不发邮件
python run_once.py --no-email

# 只看拉到多少论文
python run_once.py --dry-run

# 启动定时调度（每个交易日 9:00 自动运行）
python main.py

数据源说明

数据源	状态	说明
arXiv	✅	免费、无需 Key，主力数据源
HuggingFace Daily Papers	⚠️	社区投票信号，国内可能被墙，自动降级
Semantic Scholar	⚠️	TLDR 摘要 + 引用数，需注册 Key 解除限速
OpenReview	📋	顶会论文 + 评审意见，预留接口

自定义关键词

编辑 config.yaml 中的 keywords 字段，配置你关注的领域：

keywords:
  high_priority:
    - "large language model"
    - "agent"
    - "reasoning"
    - "alignment"
  medium_priority:
    - "fine-tuning"
    - "diffusion"
    - "transformer"

目录结构

paperpulse/
├── run_once.py              # 单次运行入口
├── main.py                  # 定时调度入口
├── config.yaml              # 关键词、调度等配置
├── fetchers/                # 数据获取层
│   ├── arxiv_fetcher.py     # arXiv API
│   ├── huggingface_fetcher.py
│   ├── semantic_fetcher.py
│   └── merger.py            # 多源合并去重
├── analysis/                # 分析层
│   ├── ranker.py            # 论文评分排序
│   ├── keywords.py          # TF-IDF 关键词
│   └── summarizer.py        # DeepSeek 摘要
├── report/                  # 报告层
│   ├── builder.py
│   └── templates/daily_papers.html
├── delivery/                # 发送层
│   └── mailer.py            # SMTP 邮件
└── storage/                 # 基础设施
    ├── config.py
    ├── database.py          # DuckDB
    └── logger.py

License

MIT