Skip to content

定时爬取将内容汇总到 SQLite(频率高),定时用 LLM 总结(频率低),支持不同运行模式,可配合外部 crontab 调度 #75

@immerslow

Description

@immerslow

这个功能需求是否和某个问题相关?请描述。
目前工具不支持将高频数据爬取的存储。希望能够定时爬取将内容汇总到 SQLite(频率高),定时用 LLM 总结(频率低),支持不同运行模式,可配合外部 crontab 调度

请描述你希望的解决方案
我希望工具支持两种独立的运行模式,可通过命令行参数分开触发:
仅爬取模式:例如通过 --crawl-only 参数运行,只负责从 RSS 等数据源抓取内容,并将原始数据存入 SQLite 数据库。此模式适合高频执行(如每小时一次)。
仅总结模式:例如通过 --summarize-only 参数运行,只负责读取 SQLite 中已累积的内容,调用 LLM 生成总结并输出结果。此模式适合低频执行(如每天一次)。
用户可以通过 crontab 这类外部定时工具,分别调度这两种模式,无需修改应用内部逻辑。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions