2026开源社区实习项目-ebpf支持计划

[Iscreamx]

AxVisor eBPF 性能追踪系统

实习项目: 为 AxVisor Hypervisor 实现基于 eBPF 的动态性能追踪系统

参考实现: Starry-OS eBPF 支持

---

1. 项目背景

1.1 问题陈述

AxVisor 是基于 ArceOS 构建的模块化 Type-1 Hypervisor。当前的可观测性依赖于静态日志输出，存在以下局限：

局限性	影响
无延迟统计	无法分析 VM Exit、Hypercall 等关键路径的处理时长
无频率分析	无法统计事件发生频率和分布
静态插桩	修改追踪点需要重新编译
高开销	日志 I/O 影响性能

1.2 解决方案

引入 eBPF 技术，实现：

• 动态追踪: 运行时加载/卸载追踪程序，无需重编译
• 低开销: 内核空间聚合统计，避免频繁日志输出
• 可编程: 用户可编写自定义 eBPF 程序，灵活定义采集逻辑
• 安全: 验证器保证程序安全，不会导致 Hypervisor 崩溃

1.3 技术路线

由于 Starry-OS 是基于 ArceOS 扩展的宏内核，AxVisor 是基于 ArceOS 扩展的 VMM，两者共享底层基础设施。本项目将移植并扩展 Starry-OS 的 eBPF 实现，适配 Hypervisor 场景。

---

2. 系统架构

┌───────────────────────────────────────────────────────────────────────────────────────┐
│                          AxVisor eBPF Tracing Architecture                            │
├───────────────────────────────────────────────────────────────────────────────────────┤
│                                                                                       │
│  ┌───────────────────────────────────────────────────────────────────────────────┐    │
│  │                            User Interface Layer                               │    │
│  │   ┌───────────────────────────────────────────────────────────────────────┐   │    │
│  │   │  Shell: trace list | enable | disable | stat | load                   │   │    │
│  │   └───────────────────────────────────────────────────────────────────────┘   │    │
│  └───────────────────────────────────────┬───────────────────────────────────────┘    │
│                                          │                                            │
│  ┌───────────────────────────────────────▼───────────────────────────────────────┐    │
│  │                            axebpf Module                                      │    │
│  │   ┌───────────────────────────────────────────────────────────────────────┐   │    │
│  │   │ symbols.rs    │ Symbol Table Management (ksym)                        │   │    │
│  │   ├───────────────────────────────────────────────────────────────────────┤   │    │
│  │   │ tracepoint.rs │ Static Tracepoint Framework                           │   │    │
│  │   ├───────────────────────────────────────────────────────────────────────┤   │    │
│  │   │ kprobe.rs     │ Dynamic Probes (kprobe/kretprobe)                     │   │    │
│  │   ├───────────────────────────────────────────────────────────────────────┤   │    │
│  │   │ runtime.rs    │ eBPF VM (rbpf)                                        │   │    │
│  │   ├───────────────────────────────────────────────────────────────────────┤   │    │
│  │   │ verifier.rs   │ Program Verifier                                      │   │    │
│  │   ├───────────────────────────────────────────────────────────────────────┤   │    │
│  │   │ helpers.rs    │ Helper Functions (Standard + Hypervisor Specific)     │   │    │
│  │   ├───────────────────────────────────────────────────────────────────────┤   │    │
│  │   │ maps.rs       │ Map Data Structures (HashMap, Array, RingBuf)         │   │    │
│  │   └───────────────────────────────────────────────────────────────────────┘   │    │
│  └───────────────────────────────────────┬───────────────────────────────────────┘    │
│                                          │                                            │
│  ┌───────────────────────────────────────▼───────────────────────────────────────┐    │
│  │                         VMM Instrumentation Points                            │    │
│  │   ┌────────────┐  ┌────────────┐  ┌────────────┐  ┌────────────┐              │    │
│  │   │vcpu_run_*  │  │ hypercall  │  │ mmio_*     │  │ ept_viol   │              │    │
│  │   └────────────┘  └────────────┘  └────────────┘  └────────────┘              │    │
│  └───────────────────────────────────────────────────────────────────────────────┘    │
│                                                                                       │
│  ┌───────────────────────────────────────────────────────────────────────────────┐    │
│  │                       Starry-OS Dependencies                                  │    │
│  │   ┌────────┐  ┌────────────┐  ┌──────────┐  ┌──────┐  ┌───────────┐           │    │
│  │   │  ksym  │  │ tracepoint │  │  kprobe  │  │ rbpf │  │kbpf-basic │           │    │
│  │   └────────┘  └────────────┘  └──────────┘  └──────┘  └───────────┘           │    │
│  └───────────────────────────────────────────────────────────────────────────────┘    │
│                                                                                       │
└───────────────────────────────────────────────────────────────────────────────────────┘

---

3. 核心功能

3.1 追踪点 (Tracepoint)

预定义的静态插桩点，适用于 Hypervisor 关键路径：

追踪点	触发位置	采集数据
vmm:vcpu_run_enter	VM Entry	vm_id, vcpu_id, timestamp
vmm:vcpu_run_exit	VM Exit	vm_id, vcpu_id, exit_reason, duration_ns
vmm:hypercall	Hypercall 处理	vm_id, nr, args, duration_ns
vmm:mmio_access	MMIO 模拟	vm_id, addr, width, is_write, duration_ns
vmm:ept_violation	嵌套页表错误	vm_id, gpa, access_flags, duration_ns
vmm:interrupt_inject	中断注入	vm_id, vcpu_id, vector

3.2 动态探针 (Kprobe/Kretprobe)

支持在任意内核函数入口/返回处动态插桩，无需预定义追踪点：

# 在 AxVCpu::run 函数入口插桩
trace kprobe axvcpu::AxVCpu::run

# 在函数返回处插桩，捕获返回值
trace kretprobe axvcpu::AxVCpu::run

3.3 Hypervisor 专用 Helper

除标准 eBPF Helper 外，提供 Hypervisor 上下文访问：

Helper ID	函数	功能
100	bpf_get_current_vm_id	获取当前 VM ID
101	bpf_get_current_vcpu_id	获取当前 vCPU ID
102	bpf_get_exit_reason	获取 VM Exit 原因
103	bpf_get_guest_regs	获取 Guest 寄存器状态

3.4 预期效果

axvisor:/$ trace list
Tracepoints:
  vmm:vcpu_run_enter     [disabled]
  vmm:vcpu_run_exit      [disabled]
  vmm:hypercall          [disabled]
  vmm:mmio_read          [disabled]
  vmm:mmio_write         [disabled]
  vmm:interrupt_inject   [disabled]
  vmm:ept_violation      [disabled]

Kprobes:
  (none)

axvisor:/$ trace enable vmm:vcpu_run_exit
Enabled: vmm:vcpu_run_exit

axvisor:/$ trace enable vmm:hypercall
Enabled: vmm:hypercall

axvisor:/$ trace stat
┌──────────────────────────────────────────────────────────────┐
│                    VM Exit Statistics                        │
├────────┬─────────┬──────────────┬─────────┬─────────┬────────┤
│ VM ID  │ vCPU ID │ Exit Reason  │  Count  │ Avg(μs) │ Max(μs)│
├────────┼─────────┼──────────────┼─────────┼─────────┼────────┤
│   1    │    0    │ Hypercall    │  12345  │   2.3   │  15.7  │
│   1    │    0    │ ExtInterrupt │   8901  │   1.1   │   8.2  │
│   1    │    0    │ Halt         │    567  │  45.2   │ 102.1  │
│   1    │    0    │ MmioRead     │   3456  │   1.8   │  12.3  │
│   2    │    0    │ Hypercall    │   4567  │   2.8   │  12.3  │
└────────┴─────────┴──────────────┴─────────┴─────────┴────────┘

axvisor:/$ trace latency hypercall
Hypercall Latency Distribution (VM 1, vCPU 0):
     μs : count    distribution
  0 - 1 : 5765   |████████████████████████████████        |
  1 - 2 : 3789   |█████████████████████                   |
  2 - 4 : 1923   |███████████                             |
  4 - 8 :  567   |███                                     |
  8 - 16:  234   |█                                       |
 16 - 32:   56   |                                        |
 32 - 64:   11   |                                        |

axvisor:/$ trace kprobe axvm::Vm::create
Kprobe attached: axvm::Vm::create @ 0xffff800080123456

axvisor:/$ trace list
Tracepoints:
  vmm:vcpu_run_enter     [disabled]
  vmm:vcpu_run_exit      [enabled]   1 program attached
  vmm:hypercall          [enabled]   1 program attached
  ...

Kprobes:
  axvm::Vm::create       [enabled]   @ 0xffff800080123456

---

4. 开发计划 (12 周)

4.1 时间线概览

Week 1-2        Week 3-4        Week 5-6        Week 7-8        Week 9-10       Week 11-12
   │               │               │               │               │               │
   ▼               ▼               ▼               ▼               ▼               ▼
┌───────────┐   ┌───────────┐   ┌───────────┐   ┌───────────┐   ┌───────────┐   ┌───────────┐
│  Phase 1  │──►│  Phase 2  │──►│  Phase 3  │──►│  Phase 4  │──►│  Phase 5  │──►│  Phase 6  │
│   Basic   │   │   eBPF    │   │    VMM    │   │  Kprobe   │   │ Verifier  │   │  Testing  │
│   Infra   │   │  Runtime  │   │Tracepoints│   │  Support  │   │  Uprobe   │   │   Docs    │
└───────────┘   └───────────┘   └───────────┘   └───────────┘   └───────────┘   └───────────┘

4.2 Phase 1: 基础设施 (Week 1-2)

目标: 集成 Starry-OS 组件，建立符号表和追踪点基础设施

任务	说明
依赖集成	引入 ksym, kbpf-basic, tp-lexer, tracepoint
模块创建	创建 modules/axebpf，包含子模块结构
符号表	实现 symbols.rs，集成 ksym；修改 xtask 生成 kallsyms.bin
追踪点框架	实现 tracepoint.rs，封装 tracepoint 库

交付物:

• modules/axebpf 模块
• xtask symbols 命令
• 追踪点定义宏可用

4.3 Phase 2: eBPF 运行时 (Week 3-4)

目标: 移植 rbpf VM，实现程序加载和执行

任务	说明
rbpf 集成	适配 rbpf 到 no_std 环境
VM 封装	实现 EbpfVm 结构体，支持 Helper 注册
Helper 实现	实现标准 Helper (map ops, ktime, trace_printk)
Map 支持	实现 maps.rs，封装 kbpf-basic (HashMap, Array, RingBuf)

交付物:

• eBPF 程序加载和执行
• 标准 Helper 函数 (6 个)
• Map 数据结构支持

4.4 Phase 3: VMM 追踪点与 Shell (Week 5-6)

目标: 定义 Hypervisor 追踪点，实现 Shell 命令

任务	说明
追踪点定义	定义 7+ 个 VMM 追踪点
VMM 插桩	在 axvcpu 关键路径插入追踪点
Shell 命令	实现 trace list/enable/disable/stat/load
Hypervisor Helper	实现 vm_id, vcpu_id, exit_reason Helper

交付物:

• VMM 追踪点可用
• Shell trace 命令组
• 端到端演示

4.5 Phase 4: Kprobe/Kretprobe 支持 (Week 7-8)

目标: 移植 Starry-OS kprobe 实现，支持动态探针

任务	说明
kprobe 移植	移植 Starry-OS kprobe 库
架构适配	适配 aarch64/x86_64 断点机制
kretprobe	实现函数返回探针
Shell 集成	trace kprobe/kretprobe 命令

交付物:

• Kprobe/Kretprobe 支持
• 动态探针 Shell 命令
• 多架构支持 (aarch64, x86_64)

4.6 Phase 5: 验证器与 Uprobe (Week 9-10)

目标: 实现 eBPF 验证器，探索 Uprobe 支持

任务	说明
验证器移植	集成 PREVAIL 或实现轻量验证器
安全检查	内存边界、程序终止性、类型安全
Uprobe 研究	研究 Guest 用户态追踪可行性
Uprobe 原型	实现基础 Uprobe 支持 (如可行)

交付物:

• eBPF 验证器
• 安全加载不受信程序
• Uprobe 可行性报告/原型

4.7 Phase 6: 测试与文档 (Week 11-12)

目标: 全面测试，编写文档，性能优化

任务	说明
单元测试	symbols, runtime, helpers, maps
集成测试	追踪点触发、eBPF 执行、kprobe
性能测试	追踪点开销、eBPF 执行延迟
文档	用户指南、API 文档、设计文档

性能目标:

• 追踪点禁用时：开销 < 1%
• 追踪点启用时：开销 < 5%
• eBPF 程序执行：< 1μs

交付物:

• 完整测试套件
• 性能基准测试报告
• 用户文档和开发文档

---

5. 依赖组件

5.1 Starry-OS 组件 (直接复用)

组件	功能	链接
ksym	符号表生成与查找	https://github.com/Starry-OS/ksym
tracepoint	追踪点框架	https://github.com/Starry-OS/tracepoint
kprobe	动态探针	https://github.com/Starry-OS/kprobe
kbpf-basic	eBPF Map/Helper	https://github.com/Starry-OS/kbpf-basic
tp-lexer	过滤表达式	https://github.com/Starry-OS/tp-lexer

5.2 社区组件

组件	功能	链接
rbpf	eBPF 虚拟机 (Rust)	https://github.com/qmonnet/rbpf
PREVAIL	eBPF 验证器	https://github.com/vbpf/ebpf-verifier

---

6. 未来扩展

6.1 完善 Uprobe 支持

Phase 5 将进行 Uprobe 可行性研究。在 Hypervisor 场景下，Uprobe 面临的挑战：

• Guest 用户态地址空间隔离
• 跨 VM 的断点管理
• 性能影响评估

如可行，将支持追踪 Guest OS 中的用户态程序。

6.2 Rust 异步追踪 (研究方向)

问题: 现有 eBPF 追踪方案基于同步执行模型，无法有效追踪 Rust async/await 异步代码：

• 执行碎片化: async 函数在 await 点被拆分为多个状态机片段，传统 kprobe 只能捕获单个片段
• 上下文丢失: Future 在不同执行器线程间迁移，无法通过线程 ID 关联完整调用链
• 状态机隐藏: 编译器生成的状态机代码与源码结构差异大，符号解析困难

研究方向: 探索针对 Rust async runtime 的专用追踪方案，可能需要：

• 与 async runtime (如 Embassy, async-std) 集成的追踪点
• Future 生命周期追踪
• 跨 await 的上下文传播机制

此方向需要进一步研究，不在当前 12 周计划范围内。

---

7. 参考资料

• Starry-OS eBPF Discussion
• eBPF 官方文档
• Aya - Rust eBPF 框架
• eBPF 指令集规范
• eBPF for Windows

[Iscreamx]

1.20 - 1.31

开发分支:
axvisor(https://github.com/Iscreamx/axvisor/tree/feature/ebpf)
axebpf(https://github.com/Iscreamx/axebpf)

已完成

• axebpf 独立模块 : 集成ksym, tracepoint, tp-lexer, kbpf-basic, rbpf 实现 eBPF 运行时, 支持程序加载执行, Array/HashMap/LruHash/Queue 四种 Map 类型, 6 个标准 helper 函数和 3 个 Hypervisor 专用 helper (获取 vm_id/vcpu_id/exit_reason). 效果: 可在 Hypervisor 内核中动态加载 eBPF 字节码进行追踪, 无需重新编译内核.
• Shell trace 命令 : 支持 trace list/enable/disable/stat/reset/load/unload/progs/latency/verbose 等命令. 效果: 可通过 shell 交互式启用追踪点, 附加 eBPF 程序, 查看统计数据和延迟直方图.
• Tracepoint 定义: 定义了 25+ 个 VMM 追踪点, 其中 VM 生命周期 (vm_create/boot/shutdown), 系统初始化 (vmm_init/config_load), Shell
  (shell_command/init) 等追踪点已完成插桩并正常工作. 效果: 可追踪 VM 创建启动流程和 shell 命令执行.
• 预编译 eBPF 程序: 基于 aya-ebpf 框架提供 2 个预编译程序, 支持 ELF 解析和 Map 重定位, 可通过 trace enable xxx --prog printk 附加程序, 无需手动编译:
  • printk: 事件计数器, 读取 tracepoint_id 并在 COUNTER_MAP 中累加调用次数
  • stats: 统计收集器, 收集 COUNT/TOTAL/MIN/MAX 延迟统计到 STATS_MAP
• 上游贡献: 向 Starry-OS/kbpf-basic 提交 PR 并已合并, 修复了 printf-compat 和 VaList API 在 Rust nightly >= 2025-12 上的兼容性问题. 使kbpf-basic 可在最新 nightly 工具链(2025-12-12)上正常编译.

待完善

• vCPU 运行时追踪点不可用 — vcpu_run_enter/exit, hypercall, external_interrupt 等核心追踪点已定义但未生效; 原因是 vCPU 实际运行循环位于 axvm crate 而非 kernel 侧, 需等待 axvm 模块重构后在其内部添加插桩.
• bpf_trace_printk 简化实现 — 当前直接打印参数值而非解析格式字符串; 原因是 rbpf VM 执行时无法访问 ELF .rodata 段中的格式字符串,
  需要实现内存映射机制.
• 验证器功能有限 — rbpf 内置基础验证器, 可检查内存越界和指令合法性; 但相比 Linux 内核验证器, 缺少循环终止性证明, 类型安全检查等高级功能. 当前依赖预编译可信程序规避风险.
• Kprobe/Kretprobe 未实现 — 下一步工作.

[Iscreamx]

2.1 - 2.7

已完成:

• Kprobe 基础设施: kprobe 库设计用于 EL1 宏内核环境, 而 AxVisor 作为 Type-1 Hypervisor 运行在 EL2, 异常处理入口和寄存器上下文完全不同, 无法直接复用. 本周实现了 EL2 环境下的 kprobe 断点捕获机制: 在 arm_vcpu 的 EL2 同步异常处理中识别 BRK 指令 (EC=0x3C), 将 Hypervisor 的 TrapFrame 转换为 eBPF 程序可访问的寄存器上下文, 执行完成后恢复正常执行流. 效果: 可在任意 Hypervisor 内核函数入口处动态执行 eBPF 程序.
• 符号表集成: 实现内核符号表加载机制, 使用页对齐结构嵌入 kallsyms 二进制数据满足 ksym 库要求, 获取内核代码段边界用于地址校验. 效果: kprobe 可通过符号名自动解析函数地址, 无需手动查找.
• Shell ksym 命令: 新增内核符号查找命令, 支持地址到符号名的双向解析, 以及模糊搜索功能. 便于定位 kprobe 挂载点.
• Shell trace kprobe 命令: 扩展 trace 命令组, 新增 kprobe/kretprobe/unkprobe 子命令, 支持按程序名自动加载预编译 eBPF 程序, trace list 扩展显示已注册 kprobe 的符号名, 地址, 命中次数, 程序 ID. 效果: 可通过 shell 交互式管理动态探针.
• axebpf 子模块化: 将 axebpf 改为 git submodule 引入. 效果: axebpf 可独立版本管理.
• axvm kprobe feature 传递: arm_vcpu 是 axvm 的依赖, 需要通过 feature flag 控制 kprobe 功能是否编译, 因此在 axvm 中添加 kprobe feature 并向下传递到 arm_vcpu.
• 链接器脚本更新: tracepoint 库使用特殊的 linker section 在链接时收集所有静态追踪点定义, 需要在 axplat-aarch64-dyn 的链接器脚本中添加 tracepoint 和 __static_keys 段的起止符号定义. 效果: 支持 tracepoint 静态插桩点的自动收集,.

待完善:

• 递归调用异常: 执行稍微复杂的 ebpf 程序时会出现 (Error: too many nested calls (max: 8)), 可能是递归 kprobe 触发, 待调试.
• Kretprobe 未完整验证: 函数返回探针需要栈帧管理机制, 当前仅完成命令接口框架.
• x86_64 架构支持待实现: 当前仅完成 aarch64 EL2 环境的适配, x86_64 需要适配 VMX root mode 的异常处理.

[Iscreamx]

2.8 - 2.21

已完成:

• Probe 模块重构：axebpf 按 probe/hprobe 与 probe/kprobe 拆分，管理与处理链路更清晰。
• Runtime 升级：ELF 加载从手写解析切换到 aya-obj，支持 map/call 重定位，程序加载稳定性提升。
• 统一事件通路：新增 TraceEvent（64B）与 event.rs，打通 tracepoint/hprobe/kprobe 的统一上报与统计。
• RingBuf 支撑落地：新增 RingBuf map 类型、vmap/unmap、页分配与PollWaker，支持 trace stream/dump。
• Helper 能力补充：新增 bpf_probe_read_kernel（helper id 113），lookup buffer 扩展到 512B。
• Shell 能力增强：新增 trace stream、trace dump、trace stat --hist/--top；VMM 侧命令统一为 hprobe，并接入 guest-kprobe 命令路径。
• 构建链路改进：kallsyms 改为 ELF 原地注入，修复硬链接场景符号丢失；QEMU 流程增加符号刷新。
• 配置与工程整理：qemu-aarch64 默认开启 guest-kprobe，移除独立 ebpf-programs 流程并同步子模块。

待完善:

• guest kprobe 处理链路未完全接管：命中后仍返回 false，异常处理闭环待完成。
• guest 寄存器上下文尚未接入 eBPF：当前仍为 run_program(..., None)。
• Stage-2/BRK 注入机制仍有 TODO：地址转换、权限切换、原指令恢复待实现。
• trace reset 暂未实现。
• PerCpu/PerfEventArray map 能力仍未支持。