大家好, 近日AI炒得热热的, 因此想试试自己家中建一个模型。软硬件如下:i9 , RTX 4060 , 16G记忆体Windows 11 , CUDA TOOLKIT 12.8已安装步骤:

  • 安装最新CUDA TOOLKIT 12.8(其实我不知是不是一定需要安装CUDA TOOLKIT, 如有人知道, 希望也指点一下)
  • 安装ollama
  • CMD中执行olama run deepseek-r1:14b来下载及执行模型
  • 在>>>中输入问题

    • 输入问题后它一直运作, 但它运作时, GPU一直0%

    想问要如何才能用到GPU? 等运行能加快。谢谢

    2 个回答

    0

    I code so I am

    iT邦高手 1 级 ‧ 2025-02-16 10:44:14

    开启工作管理员的效能页籤，输入提示可看到GPU使用率，瞬间有冲到50%。
    若GPU使用率=%，可设set CUDA_VISIBLE_DEVICES=0，再执行ollama run deepseek-r1。

    1

    s57797275

    iT邦新手 5 级 ‧ 2025-02-16 11:23:30

    你去CUDA toolkit选择windows11版 11.8 CUDA toolkit，12的反而没有11.7、11.8的稳定度好，安装CUDA之后，跑ollama记忆体就会满载，GPU就会上去15~45%了

    再到Chrom扩充元件下载WebUI界面，这样你执行完ollama或是run ollama deepseek-r3，直接就在Chrome界面上使用就好，
    而且webUI版可以勾联网搜索，也不限你2021年以前资料
    https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo?hl=zh-TW

    如果你抓的deepseek是32b以上的还可以辨识图片，但是GPU会有点硬刚