仅先进行分享解决办法

发生于transformers的tokenizer_utils.py

在unsloth 某版本的修正方式为,在引起错误的地方直接新增(那个注解也是unsloth自己写的)

Unsure why this occurs!

if type(slow_tokenizer) is bool: slow_tokenizer = None

在tokenizer_utils.py中的 def _load_correct_tokenizer里面定义slow_tokenizer后,第一个try catch后,直接加上if type(slow_tokenizer) is bool: slow_tokenizer = None

也有人表示请直接使用tokenizer=AutoTokenizer.from_pretrained("facebook/MobileLLM-1B", use_fast=False)