仅先进行分享解决办法
发生于transformers的tokenizer_utils.py
在unsloth 某版本的修正方式为,在引起错误的地方直接新增(那个注解也是unsloth自己写的)
Unsure why this occurs!
if type(slow_tokenizer) is bool: slow_tokenizer = None
在tokenizer_utils.py中的 def _load_correct_tokenizer里面定义slow_tokenizer后,第一个try catch后,直接加上if type(slow_tokenizer) is bool: slow_tokenizer = None
也有人表示请直接使用tokenizer=AutoTokenizer.from_pretrained("facebook/MobileLLM-1B", use_fast=False)