您好请问能再问你一个问题吗，模型参数也是0.7B然后训练语料也是猴子序列

[wz043]

总共设置了3个eporch，经过一个eporch，loss下降到3的样子，但是实际模型测试语句看不出任何逻辑性，这属于预训练的正常现象吗，语句逻辑都是在后训练建立的吗，比如"中国的首都是":中国的首都是火船拿着书籍有一点儿傻瓜地球社会 slid入阵睦晕元妃沙僧连忙太空城组合要吃唐僧降雪以吴日静显然也也正学得个报知曹操 precisely cries sun它的存在对太空军记得那玄德与关玄德望见 Liverpool ven沾染沙僧见时操再细细慧眼困难的急闪过汝兄谈诗一面笑念自�掏让他进去郃在山上于是孔明弃水平分开水路养神者为成显示屏中

[qibin0506]

看着不太正常，我只训练了1个epoch就不会胡乱输出了。
首先用训练集的数据试试生成效果。
loss下降很快，但是模型能力很差，也可以考虑是不是causal_mask设置的有问题