大语言模型框架 Ollama 安装和运行
Ollama 在 Linux 上的官方一键安装,下载速度太慢太慢,故实际是无法进行的。所以,先迅雷下载安装包,然后解压运行即可。https://ollama.com/download/ollama-linux-amd64.tgz
解压缩
tar -C /usr -xzf ollama-linux-amd64.tgz
忠实按照官方文档(https://github.com/ollama/ollama/blob/main/docs/linux.md)
# tar -C /usr -xzf ollama-linux-amd64.tgz
# ollama serve
Your new public key is:
ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIKhUgvxddQjeJnydUbNNqyc0U4gnjCKM/JBDUPrZAhi9
然后也是按照官方说法,新开一个终端
# ollama -v
ollama version is 0.6.2
拉取并成功运行三个最小配置的模型:
llama3.2:1b
qwen:0.5b
deepseek-r1:1.5b
另外两个稍微大些的,可以拉取,因系统内存限制,无法运行:
qwen2.5:3b(运行需要 2.7 GiB 可用内存)
qwen2.5:7b(运行需要 5.5 GiB 可用内存)
页:
[1]