请问一下实验中LoRA+Engram的参数配置

[Fpw19980724]

作者你好，请问一下实验中LoRA+Engram的参数配置，LoRA配置以及三层分层学习率都是多少呀？
然后再想问一下这个实验是Pretraining还是Continuous Pretraining？

祝好！

[QingGo]

目前 1.2.2 的实现有 bug，可以用 1.2.1 的实现来复现 loss LoRA+Engram < LoRA < Engram 的结果。这个实验用的数据很少，应该算是 finetune

[Fpw19980724]

目前 1.2.2 的实现有 bug，可以用 1.2.1 的实现来复现 loss LoRA+Engram < LoRA < Engram 的结果。这个实验用的数据很少，应该算是 finetune

那会不会是数据量的问题影响了全量微调的效果呢

[QingGo]

目前 1.2.2 的实现有 bug，可以用 1.2.1 的实现来复现 loss LoRA+Engram < LoRA < Engram 的结果。这个实验用的数据很少，应该算是 finetune

那会不会是数据量的问题影响了全量微调的效果呢

原因可能有很多，也可能是参数没调好的原因。全量微调 + Engram 效果不好已经是较早版本做的实验了，本身可调参数量越多，上限就该越高。在 1.2.1 版本运行 examples/compare_engram_lora.py 应该可以看到，全量微调 + Engram loss 更低。