Skip to content

Repository files navigation

What Are You Doing? 你在干什么?

一款 macOS 菜单栏应用,通过截图分析、浏览器历史和应用追踪,借助多模态大模型自动记录并总结你的工作内容。

功能

  • 截图分析 — 自适应频率捕获活跃窗口,多模态 LLM 即时识别你在做什么(Layer 0)
  • 浏览器历史 — 自动同步 Safari / Chrome / Firefox / Edge 浏览记录
  • 应用追踪 — 记录前台应用切换和使用时长
  • 多层摘要 — 每 30 分钟 / 每天 / 每周自动生成带评分的工作总结
  • 黑名单 — 隐私保护,黑名单应用永远不会被截图
  • 多模型 — 支持 Qwen / Anthropic / OpenAI / Gemini,可自由切换

架构

Layer 0 (即时)   截图 → 多模态 LLM → ActivityLog (JSON)
Layer 1 (30分钟) ActivityLog + 浏览历史 → 文本 LLM → Session 摘要 (0-10 评分)
Layer 2 (每日)   Session 摘要 → Daily 摘要
Layer 3 (每周)   Daily 摘要 → Weekly 摘要

每层摘要携带 contextForNext 保持叙述连贯性。Session 对齐到固定的 :00/:30 整点半小时。

技术栈

组件 选型
平台 macOS 14+ (Sonoma)
语言 Swift 5.9+
UI SwiftUI (MenuBarExtra + Window)
架构 MVVM + Service Layer
存储 SQLite (GRDB.swift)
LLM Qwen / Anthropic / OpenAI / Gemini
设计 "The Quiet Sanctuary" 暖色编辑风

构建与运行

# 构建
swift build

# 打包 .app
./scripts/package_app.sh

# 或手动 release 构建
swift build -c release

权限要求

权限 用途
屏幕录制 捕获活跃窗口截图
完全磁盘访问 读取浏览器历史数据库
辅助功能(可选) 获取窗口标题信息

首次启动时应用会自动弹出权限引导窗口。

项目结构

WhatAreYouDoing/
├── App/            入口 + 服务编排 (AppCoordinator)
├── Models/         数据模型 (GRDB Record)
├── Services/
│   ├── Analysis/   4 层分析管线 + Prompt
│   ├── LLM/        多模型 Provider 抽象
│   ├── ScreenCapture/  截图 + 黑名单过滤
│   ├── BrowserHistory/ 4 浏览器历史读取
│   ├── AppTracking/    应用切换监听
│   ├── Storage/        SQLite + 文件存储
│   └── Permissions/    系统权限检测
├── ViewModels/     @Observable 状态管理
├── Views/          SwiftUI 视图 + Theme
├── macOS/          AppIcon 资源
└── scripts/        打包脚本

设计系统

采用 "The Quiet Sanctuary" 设计语言:暖色低饱和配色、无边框色差分层、编辑式排版。

详见 ref/stitch/paper_glass/DESIGN.md 和 Views/Theme.swift。

License

Private / All Rights Reserved

About

Whatareyoudoing

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages