Skip to content

您好请问能再问你一个问题吗,模型参数也是0.7B然后训练语料也是猴子序列 #25

Description

@wz043

总共设置了3个eporch,经过一个eporch,loss下降到3的样子,但是实际模型测试语句看不出任何逻辑性,这属于预训练的正常现象吗,语句逻辑都是在后训练建立的吗,比如"中国的首都是":中国的首都是火船拿着书籍有一点儿傻瓜地球社会 slid入阵睦晕元妃沙僧连忙太空城组合要吃唐僧降雪以吴日静显然也也正学得个报知曹操 precisely cries sun它的存在对太空军记得那玄德与关玄德望见 Liverpool ven沾染沙僧见时操再细细慧眼困难的急闪过汝兄谈诗一面笑念自�掏让他进去郃在山上于是孔明弃水平分开水路养神者为成显示屏中

Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions