Ollama Linux 使用指南

上周一位客户问我如何在 Linux 上安装 Ollama。
这个工具对于运行大型语言模型非常有趣。
我给他发了这份详细的指南,下面我会详细告诉你。

首先,要安装 Ollama,您只需运行以下命令: 巴什 卷曲-fsSL https://ollama.com/install.sh |嘘
然后,如果您使用的是 AMD Radeon GPU,请注意官方 Linux 内核源代码中的 amdgpu 驱动程序可能是旧版本,不支持所有 ROCm 功能。
目前,您可以从 AMD Linux 驱动程序下载页面下载最新驱动程序以改进支持。

对于手动安装,您可以下载 Ollama 二进制文件并将其添加到您的 PATH 中: 巴什 sudo curl -L https://ollama.com/download/ollama-linux-amd6 4 -o /usr/bin/ollama sudo chmod +x /usr/bin/ollama
为了更方便管理,您可以将Ollama设置为启动服务。
创建用户ollama,然后创建服务文件/etc/systemd/system/ollama.service。
内容大概如下: 巴什 [单位] 描述=Ollama 服务 After=network-online.target
[服务] ExecStart=/usr/bin/ollama 服务 用户=ollama 组=ollama 重新启动=始终 RestartSec=3
[安装] WantedBy=default.target
启动服务并运行: 巴什 sudo systemctl 守护进程重新加载 sudo systemctl 启用 ollama
如果您使用 Nvidia GPU,则可能需要安装 CUDA 驱动程序。
下载后使用nvidia-smi命令检查是否安装成功。

对于 Radeon GPU,需要 ROCm,请确保安装 ROCm v6
使用 Ollama,您可以通过 systemd 启动它: 巴什 sudo systemctl start ollama
更新 Ollama 有两种方法,一种是重新运行安装脚本,另一种是下载二进制文件堆栈。

要查看日志,您可以使用: 巴什 Journalctl -u ollama
要卸载 Ollama,请先停止该服务,然后禁用它: 巴什 sudo systemctl 停止 ollama sudo systemctl 禁用 ollama rm /etc/systemd/system/ollama.service
接下来,删除二进制文件,通常是/usr/local/bin、/usr/bin 或/bin 之一,使用which ollama 找到确切位置并将其删除。

最后,删除下载的模型以及Ollama服务用户和组: 巴什 sudo rm -r /usr/share/ollama 须藤·用户德尔·奥拉马 sudo groupdel ollama
无论如何,这取决于你。
通过遵循本指南,您几乎可以在 Linux 上安装和配置 Ollama。
我仍然想知道,这个指南使用起来有点复杂吗?

amd驱动linux卸载amd驱动linux

说实话,Linux系统对显卡的支持就看你怎么看。
你是对的,Linux下确实有两种显卡驱动:一种是第三方开发的,一种是显卡厂商自己生产的。
但有趣的是,由于Linux用户不多,显卡厂商确实不太愿意开发Linux驱动。

你想想,驱动这个东西涉及到显卡芯片的核心技术,这是一个硬骨头。
开源的问题就更大了,厂商可能会觉得投入和产出不成正比。
不过话说回来,随着Linux用户的数量慢慢增加,需求确实也增加了。
现在很多游戏厂商也发布了自己游戏的Linux版本,这为Linux显卡驱动的发展增添了动力。

目前,AMD (ATI) 和 nVidia 处于领先地位。
AMD 有第三方 fglrx 和官方 GPUOpen 驱动程序。
nVidia 有第三方 nouveau,当然还有官方驱动程序。
但说实话,由于用户数量的原因,Linux下的显卡支持确实比Windows下差很多。
之前用Linux玩游戏,帧率确实有点压力,所以还是建议在Windows下玩游戏,体验更好。

说说AMD显卡能不能挖矿。
按理说AMD的RDNA/RDNA2 架构就是为游戏而设计的。
特别是,RDNA2 使用InfinityCache和更低的显存位宽来优化游戏性能。
挖矿需要较高的带宽,所以从技术角度来看,AMD显卡对于挖矿并不是很友好。
但现实是AMD想限制也限制不了。
为什么? 因为Linux下的Radeon显卡驱动是开源的,任何人都可以更改。
你想禁止AMD吗? 人们只是更改了代码并绕过了它。
所以现在的情况就是AMD对于挖矿有点无奈,想控制也控制不了。