transformers支持junnyu/roformer_v2_chinese_char_base了吗？直接用也没报错

[Leweibo]

直接用也没报错

from transformers import AutoTokenizer, RoFormerModel
import torch

tokenizer = AutoTokenizer.from_pretrained("junnyu/roformer_v2_chinese_char_base")
model = RoFormerModel.from_pretrained("junnyu/roformer_v2_chinese_char_base")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

last_hidden_states

能这样用吗？

https://colab.research.google.com/drive/11WW68vCRtTr3qZyridqgchEgBaDMqu4P#scrollTo=1iVgO57UoAsq

[Leweibo]

from transformers import AutoModelForMaskedLM, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("junnyu/roformer_v2_chinese_char_base")
model = AutoModelForMaskedLM.from_pretrained("junnyu/roformer_v2_chinese_char_base")

sequence = "今天[MASK]很好，我要去公园玩。"

inputs = tokenizer(sequence, return_tensors="pt")
mask_token_index = torch.where(inputs["input_ids"] == tokenizer.mask_token_id)[1]

token_logits = model(**inputs).logits
mask_token_logits = token_logits[0, mask_token_index, :]

top_5_tokens = torch.topk(mask_token_logits, 5, dim=1).indices[0].tolist()

for token in top_5_tokens:
print(sequence.replace(tokenizer.mask_token, tokenizer.decode([token])))

---

结果：
今天盖很好，我要去公园玩。
今天珊很好，我要去公园玩。
今天卉很好，我要去公园玩。
今天炬很好，我要去公园玩。
今天幔很好，我要去公园玩。