首先声明,这不是Bug报告,是一个与DeepSpec方向相关的开放式思考,想请教一下各位老师。
DeepSpec做的是推测解码,本质是在“逐token自回归”的框架内做加速。我在思考一个更底层的问题:
人类写作时,通常是“意图块”先浮现(比如概念、关系、目标),再展开为句子;而LLM是反过来,从词开始往上拼。
我在想,是否可能构建一个“可持续更新的语义状态空间”,显式存储当前对话的身份、目标、概念关系,让语言生成从这个状态里投影出来,而不是每次都从上下文临时推断?
也就是把生成过程从 “序列拼凑”转向 “语义组织 → 语言表达” 的双阶段系统。
我知道这在工程上(可微性、显存带宽)有巨大困难。但想请教:
这个方向在学术上是否有人在做?
它是否存在根本性的逻辑漏洞?
纯外行视角,如有冒犯请忽略并删除。感谢!
首先声明,这不是Bug报告,是一个与DeepSpec方向相关的开放式思考,想请教一下各位老师。
DeepSpec做的是推测解码,本质是在“逐token自回归”的框架内做加速。我在思考一个更底层的问题:
人类写作时,通常是“意图块”先浮现(比如概念、关系、目标),再展开为句子;而LLM是反过来,从词开始往上拼。
我在想,是否可能构建一个“可持续更新的语义状态空间”,显式存储当前对话的身份、目标、概念关系,让语言生成从这个状态里投影出来,而不是每次都从上下文临时推断?
也就是把生成过程从 “序列拼凑”转向 “语义组织 → 语言表达” 的双阶段系统。
我知道这在工程上(可微性、显存带宽)有巨大困难。但想请教:
这个方向在学术上是否有人在做?
它是否存在根本性的逻辑漏洞?
纯外行视角,如有冒犯请忽略并删除。感谢!