每日一篇学习笔记 直到我做完专题 :( [Day44]

今天来用我们主要需要的分词

from transformers import pipeline

ner = pipeline("ner", model="ckiplab/bert-base-chinese-ner", aggregation_strategy="simple")

input_text = "我要去东京旅游五天，预算是五万日元。"
result = ner(input_text)

for entity in result:
print(f"实体: {entity[\'word\']}，类型: {entity[\'entity_group\']}，信心分数: {entity[\'score\']:.2f}")

但其实今天的分词结果长这样实体: 东，类型: GPE，信心分数: 1.00实体: 京，类型: GPE，信心分数: 1.00实体: 五，类型: DATE，信心分数: 1.00实体: 天，类型: DATE，信心分数: 1.00实体: 五 万 日，类型: MONEY，信心分数: 1.00实体: 元，类型: MONEY，信心分数: 1.00

很明显分词的结果很差 需要给他一点学习样本 不然怪怪的