Replies: 3 comments 1 reply
|
这个需要调研。如果是VLM系列大模型的话，就要通过类似vllm这种推理引擎加速了 |
0 replies
|
gtx 1070 8g win11 可以用hugging face运行dots ocr, 但是慢。不知道有没有办法用flash attn加速， |
1 reply
|
这个不太确定了。也需要调研一下各自结构，以及flash attn是否支持。后面有空了，倒是有兴趣搞搞看。不过时间不定哈。 |
|
好的，等你的好消息 |
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
有没有办法转换dots ocr的模型，用rapidocr 加速？
All reactions