Skip to content

能否解释一下EmbeddingExt中的旋转位置编码的作用是什么? #106

@junphine

Description

@junphine

我理解旋转位置编码应该在取得query和key的向量之后计算,这里为什么是在之前计算?
input_sub具体指的是什么?作为旋转位置编码的x_pos参数传入,发现他大部分场景下始终是0向量,所以旋转位置编码没有起到作用

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions