论文中给出的测试性能和使用开源权重测试得到性能存在较大差距

[bang123-box]

感谢您的工作，但是我想请问在这几个数据集上为什么有这么大的性能差距啊，重测试是我用您开源的权重和测试代码重新运行得到

[MrZhangmg]

你好，请问在运行table_llava_inference.sh脚本时，有没有出现Error while finding module specification for 'llava.eval.model_vqa' (ModuleNotFoundError: No module named 'llava')这个错误呢？

[bang123-box]

我估计这是因为你没有装好该项目里面llava包

[MrZhangmg]

我估计这是因为你没有装好该项目里面llava包

感谢，我的确没有安装llava包这步操作

[indulge136]

你好，请问进行微调时No module named 'flash_attn' 下载falsh_attn与pyproject.toml中的环境不兼容如何解决？

[bang123-box]

应该是可以兼容的吧，我这边配置过环境，cuda11.8和cuda12.1下面都配置成功过，你可以根据你的cuda版本，torch版本以及python版本去https://github.com/Dao-AILab/flash-attention/releases上找到对应的whl文件下载，然后使用pip install xxxxx.whl即可

[indulge136]

应该是可以兼容的吧，我这边配置过环境，cuda11.8和cuda12.1下面都配置成功过，你可以根据你的cuda版本，torch版本以及python版本去https://github.com/Dao-AILab/flash-attention/releases上找到对应的whl文件下载，然后使用pip install xxxxx.whl即可

请问您那边有配置好的环境镜像吗我这边下载对应的falsh-attn 还是没有成功

[bang123-box]

没有哎，不过我可以提供一下我使用的flash-attnflash_attn-2.2.0+cu121torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl, torch2.1.2, cuda12.1

[indulge136]

请问你装环境的时候是直接conda create -n table_llava python=3.10 -y conda activate table_llava pip install --upgrade pip # enable PEP 660 support pip install -e . 这样操作的吗 他project里面的torch版本是2.0的 并且后续在运行的过程中出现了没有llava这个包 但是我是已经将llava放到了路径里边 请问有解决办法吗 谢谢您的解答 希望收到您的回复

…

------------------ 原始邮件 ------------------ 发件人: "Bangbang ***@***.***>; 发送时间: 2025年1月6日(星期一) 下午4:54 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [SpursGoZmy/Table-LLaVA] 论文中给出的测试性能和使用开源权重测试得到性能存在较大差距 (Issue #16) 没有哎，不过我可以提供一下我使用的flash-attnflash_attn-2.2.0+cu121torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl, torch2.1.2, cuda12.1 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[bang123-box]

你是否pip install -e ".[train]"，这样才能够训练和测试吧

[AmnesiaMao]

感谢您的工作，但是我想请问在这几个数据集上为什么有这么大的性能差距啊，重测试是我用您开源的权重和测试代码重新运行得到

您好，对于TABMWP这个数据集我跟您一样用相同的方法进行了重测试，我的分数和您的85.96接近，请问您后来找到和原作者分数相差的原因了嘛？