这个功能需求是否和某个问题相关?请描述。
目前工具不支持将高频数据爬取的存储。希望能够定时爬取将内容汇总到 SQLite(频率高),定时用 LLM 总结(频率低),支持不同运行模式,可配合外部 crontab 调度
请描述你希望的解决方案
我希望工具支持两种独立的运行模式,可通过命令行参数分开触发:
仅爬取模式:例如通过 --crawl-only 参数运行,只负责从 RSS 等数据源抓取内容,并将原始数据存入 SQLite 数据库。此模式适合高频执行(如每小时一次)。
仅总结模式:例如通过 --summarize-only 参数运行,只负责读取 SQLite 中已累积的内容,调用 LLM 生成总结并输出结果。此模式适合低频执行(如每天一次)。
用户可以通过 crontab 这类外部定时工具,分别调度这两种模式,无需修改应用内部逻辑。
这个功能需求是否和某个问题相关?请描述。
目前工具不支持将高频数据爬取的存储。希望能够定时爬取将内容汇总到 SQLite(频率高),定时用 LLM 总结(频率低),支持不同运行模式,可配合外部 crontab 调度
请描述你希望的解决方案
我希望工具支持两种独立的运行模式,可通过命令行参数分开触发:
仅爬取模式:例如通过 --crawl-only 参数运行,只负责从 RSS 等数据源抓取内容,并将原始数据存入 SQLite 数据库。此模式适合高频执行(如每小时一次)。
仅总结模式:例如通过 --summarize-only 参数运行,只负责读取 SQLite 中已累积的内容,调用 LLM 生成总结并输出结果。此模式适合低频执行(如每天一次)。
用户可以通过 crontab 这类外部定时工具,分别调度这两种模式,无需修改应用内部逻辑。