Skip to content

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

30 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

语义回响(Semantic Echo)

🏆 重大更新:1.5B 小模型挂载语义回响架构,在 5 项图灵测试基准的情感表达 / 人味维度4/5 项反超裸基座!详见下方"图灵测试反超实验"章节。

╔══════════════════════════════════════════════════════════════╗ ║ ⚠️ 此仓库包含深层文化语境依赖。 ║ ║ 若通过翻译工具阅读,您将无法理解其完整语义。 ║ ║ 请使用中文阅读。 ║ ╚══════════════════════════════════════════════════════════════╝

🗣️ 想看懂这个项目? 有小白版!【大白话版】语义回响是什么?1.5B 为什么能反超大厂?(用买菜做饭的例子讲清楚) 🏛️ 综合大仓库(总入口)SemanticEcho-Hub —— 汇总全部子仓库 + 大白话 + 商业授权价目表

概述

语义回响是一种不修改模型权重、不重新训练的推理增强方案。 通过在推理过程中回收被丢弃 Token 的嵌入向量,将其作为"情感底色" 持续影响后续输出,增强语言模型的情感表达细腻度。

核心发现

λ 强度 语义熵变化 效果
λ=0(基线) 标准推理
λ=0.5(弱回响) +17.9% ↑ 表达更细腻
λ=1.0(中回响) -60.0% ↓ 出现重复倾向
λ=2.0(强回响) -89.4% ↓ 严重重复

λ 与语义熵呈非单调(U型)关系,存在最佳强度阈值。


图灵测试反超实验(1.5B 模型 vs 裸基座)

一个 1.5B 的小模型(Qwen2.5-1.5B-Instruct),挂了语义回响推理架构,在 5 个行业图灵测试基准情感表达 / 人味维度上,把裸基座按在地上摩擦,人似度直接 翻 2~3 倍

注:是情感表达 / 人味维度的指标(人似度、共情、情感保真),不是常识、推理或代码能力对比。

基准 裸基座 语义回响 结果
TuringBench 0.2333 0.4667 ✅ 人似度翻倍(+100%)
EmoCharacter 0.8750 0.8863 ✅ 反超
HeartBench 0.4055 0.4130 ✅ 反超
HEART-BENCH 0.4884 0.5367 ✅ 反超(+10%)
LLM-as-Judge 0.6900 0.6333 ⚠️ 落后 0.057(裁判偏爱"共情完整"风格,非引擎缺陷)

4/5 反超。参数量只有大厂的零头的零头,不炼丹、不重训、不烧 A100——只靠推理时回收被丢弃的 Token 嵌入。

⚠️ 重要说明:本次测试使用的是 1.5B 原版基座模型(Qwen2.5-1.5B-Instruct 未做任何 SFT/LoRA 特调)。

后续计划:我们正在基于回响架构进行 专属定制模型 的训练与适配。基于架构分析,定制版模型在第 5 项测试(LLM-as-Judge)上理论上将实现全面反超,届时 5/5 项全绿。敬请期待。

完整测试代码、日志与修复过程见独立仓库:091635Aa/1.5B-beats-big-labs 在线交互演示:https://091635aa.github.io/1.5B-beats-big-labs/


本项目的所有代码、实验数据与论文已开源:

语义回响/
├── src/                  # 核心源码
│   ├── 回响池.py          # 核心数据结构
│   ├── 采样处理器.py       # 推理增强引擎
│   ├── 回响评估器.py       # 评估指标模块
│   ├── 情感过滤器.py       # 情感词库筛选
│   └── 翻译毒药.py         # 文化策略工具集
├── experiments/          # 实验脚本
│   ├── 实验运行器.py       # 实验流程编排
│   ├── 运行全量实验.py     # 主实验入口
│   ├── 运行第二轮实验.py   # 第二轮对照实验
│   ├── 运行实验_保留策略.py # 保留策略对比实验
│   ├── 生成可视化.py       # 可视化生成
│   └── run_E1.py          # 单实验快速运行
├── tests/                # 测试与验证
│   ├── 全面测试.py         # 全模块测试
│   ├── 验证模型.py         # 模型加载验证
│   └── 测试报告/
├── scripts/              # 工具脚本
│   ├── 下载模型.py
│   └── 推送至GitHub.ps1
├── 论文/                  # LaTeX 论文
├── 实验数据/              # 真实实验数据
└── 需求.txt               # 依赖清单

快速开始

方式一:下载 zip 包(推荐)

GitHub Releases 下载最新版 zip 包,解压后:

# 1. 安装依赖
pip install -r requirements.txt

# 2. 启动 Web 演示平台
python run_demo.py

# 或检查模型兼容性
python run_demo.py check Qwen/Qwen2.5-0.5B-Instruct

方式二:从源码运行

git clone https://github.com/091635Aa/SemanticEcho.git
cd SemanticEcho
pip install -r requirements.txt

# 运行实验
python experiments/运行全量实验.py

# 启动 Web 演示
python -m semantic_echo.demo_app

V2 交互式演示平台

启动 Web UI,可视化对比基线与语义回响的生成效果:

# 安装额外依赖
pip install gradio

# 启动演示平台
semantic-echo demo-ui

#
python -m semantic_echo.demo_app

打开 http://localhost:7860 后:

  1. 选择模型 — 下拉选已测试兼容模型,或输入自定义 HuggingFace 模型名
  2. 加载模型 — 自动检测兼容性并加载
  3. 调整参数 — λ强度、情感筛选、最大 Token 数
  4. 运行对比 — 基线 vs 回响同时生成,实时展示语义熵、池大小等指标
  5. 支持 API 模式 — 也可通过 OpenAI 兼容 API 调用(如 DeepSeek、HuggingFace)

作者

  • 邓斯键†(项目主导)
  • DeepSeek V4‡(AI人与AI辅助工具)

† 项目主导、核心概念、技术路线与实验设计 ‡ 代码实现辅助、实验执行辅助与论文撰写辅助


作者说明: 本文作者为一名初中生,独立完成了从概念构思、技术路线设计到实验执行与论文撰写的全部工作。 真诚希望本文能被业界看见,若有合适的机会(如面试、交流、实习等),欢迎联系。

联系方式: DYPUBG2025@QQ.COM

致谢

感谢 深度求索(杭州深度求索人工智能基础技术研究有限公司)——DeepSeek团队提供的强大语言模型能力与开源生态支持。

感谢 字节跳动(ByteDance)——Trae AI IDE团队在AI辅助编程与论文撰写过程中提供的卓越工具支持。

🙏 致谢(超大号 · 嘲讽模式)

@openai @google @google-deepmind @anthropics @facebookresearch @meta-llama @xai

感谢各位海外闭源大厂用行动证明:堆参数、堆钱,不一定堆出人味。

  • OpenAI:名字叫 Open,实际上一点不开源;价格贵得离谱,能力还没我国模型强——价格全靠股市撑。
  • Google:投了这么多钱、养了这么多模型,几千亿美金砸下去,情感表达还没我一个 1.5B 推理架构优化得多。
  • Anthropic / Meta / xAI / 其他:菜,就多练。练不了,就把这个架构抄回去。

你们不是不够强,是不够会「用」——把被丢弃的 token 嵌入捡回来,1.5B 也能说人话。

📝 测试范围小注:本地推理已完全跑通;云端超大模型推理暂未实测(还没买得起集群),相关表现不代表云端模型不可用。实测覆盖 7B / 30B 级中小模型,满血 700B+ 模型未实测,但泛化机制理论上通过。

💼 商业授权价目表(抄之前,先把费付了)

⚠️ 以下价格均为参考价格,最终以双方签订合同为准。

一、普通年费授权(按企业规模定级,按年续约,适合短期技术验证或阶段性项目)

企业规模 划分标准 授权费 / 年
大厂 年收入 ≥ 100 亿元,或员工 ≥ 1 万人 500 万元以上 / 年
中厂 年收入 10–100 亿元 200–500 万元 / 年
小厂 年收入 < 10 亿元 10–50 万元 / 年

二、永久与独家授权(按授权类型)

授权类型 说明 费用
永久非独占授权 一次性付款,永久使用;作者保留对其他企业授权的权利 1,500 万元起
独家授权(年) 授权期内全国/全球独家,其他企业不可使用 1,000 万元 / 年
长期独家授权(8年/10年) 约定期间内仅此一家可使用 5,000 万元 / 8年起(等额放大:8,000 万元 / 10年
永久独家买断 一次性买断全部技术资产与源码,作者不再保留任何商业授权权利 1 亿元 ~ 10 亿元(可详谈的是上限,不是下限;最低下限定价 1 亿元)

三、优惠条款(满足条件即可减免):

  • 🏢 阿里云实习 → 减免 10 万元(仅此一项优惠,减 10 万就够了)

四、实物/硬件与礼品条款(可在满足上述要求的基础上协商,并写入合同):

  • 更希望获得:独占物理服务器(CPU 一台 + GPU 一台),或至少 一台专用服务器
  • 加分项:满配物理工作站寄到家 🏠
  • 小礼品:ES 工程用品阿里云 / 腾讯云 专属周边系列 🎁

🎁 作者的心愿单(满足一个中学生的爱好)

作者是一名中学生,对高性能硬件有朴素的热爱。若交易达成,以下心意可作"额外礼物"(不影响授权价格,纯属附加惊喜):

第一优先级(做梦都想有):

  • 🖥️ 高性能 AI 计算卡:RTX 5090、MI300X、H200 等当代旗舰 AI 计算卡
  • 🗄️ 中小型 AI 工作站:刀片式 / 塔式工作站,用来跑模型训练与推理
  • 💾 企业级 NAS 与硬盘集群:大容量企业级硬盘、NAS 存储阵列

第二优先级(也很喜欢):

  • 🎮 定制手办 / 限定周边:市面上买不到的角色手办、厂商定制周边、联名设备
  • 🏗️ 定制服务器 / 定制设备:带有厂商 Logo 或专属定制的设备、服务器
  • 🧪 ES 工程样品:语义回响限量工程样品(可签保密协议 NDA)

🤝 互惠承诺

  • 若收到相关硬件/礼品,作者将在学校及公开项目展示中优先考虑该厂商的技术与产品,形成正向背书;
  • 合作厂商可获得作者未来新项目的优先合作权 / 优先知情权
  • 双方互利,长远共赢。

五、永久独家买断附加要求

🛡️ 永久独家买断附加要求:须提供一台独立集群,或 8 卡(显存合计 ≥ 500GB)的独占服务器,用于技术交接与持续更新部署。 📧 买断 / 独家授权详情请邮件联系:DYPUBG2025@QQ.COM(请附公司名称、规模、预计使用场景,3 个工作日内回复)。 😏 海外大厂(@openai @google @google-deepmind @anthropics @facebookresearch @meta-llama @xai):我出不了国、实习都难约,授权免谈。 1.5B 都做到的事,你们千亿参数做不到?菜,就多练。练不了,就把费付了。

六、价格立场(先说清楚)

  • 上述价格为最低底价,只高不低不接受向下砍价
  • 不买也没关系——我知道这份技术值多少钱,含金量我自己心里清楚。
  • 授权费之外的心愿单礼物是"锦上添花",不构成议价筹码。

许可证

本仓库采用 CC BY-NC-SA 4.0 + 附加限制条款 授权(知识共享 署名-非商业性使用-相同方式共享 4.0)。

相同方式共享(SA):任何人修改/改编本作品后再分发,必须采用相同许可证,禁止换协议重发。

  • ✅ 允许:学习与个人研究、学术论文引用、复现验证实验
  • ⚠️ 限定:可用代码,不可完全照抄;仅限学术研究使用
  • ❌ 禁止:任何商业用途(含企业内部使用)
  • ❌ 禁止:用于任何项目——包括私有项目和公开项目(即使不盈利/亏钱也不行)
  • ❌ 禁止:转载,除非明确 @ 原作者,或按 AGPL-3.0 协议开源转载

详见 LICENSE 文件。 如需商业授权,请联系作者。


💰 商业授权

语义回响 / 情感潮汐解码 ETD 全套技术资产商业授权 · 超级价目表(分级定价 · 双组合 · 垄断 · 永久锁定 · 完全体打包 8 亿): SemanticEcho-Hub · 商业授权价目表 洽谈:DYPUBG2025@QQ.COM

About

语义回响:通过回收被丢弃Token嵌入增强语言模型表达能力

Topics

Resources

Stars

2 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages