雨研员工讨论版

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 58|回复: 0

大语言模型框架 Ollama 安装和运行

[复制链接]

142

主题

372

帖子

3397

积分

员工

Rank: 9Rank: 9Rank: 9

积分
3397
 楼主| 发表于 2025-3-30 17:17 | 显示全部楼层 |阅读模式
Ollama 在 Linux 上的官方一键安装,下载速度太慢太慢,故实际是无法进行的。所以,先迅雷下载安装包,然后解压运行即可。
https://ollama.com/download/ollama-linux-amd64.tgz

解压缩
tar -C /usr -xzf ollama-linux-amd64.tgz

忠实按照官方文档(https://github.com/ollama/ollama/blob/main/docs/linux.md
[root@iZe85s0z24rhquZ mnt]# tar -C /usr -xzf ollama-linux-amd64.tgz
[root@iZe85s0z24rhquZ usr]# ollama serve
Your new public key is:

ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIKhUgvxddQjeJnydUbNNqyc0U4gnjCKM/JBDUPrZAhi9

然后也是按照官方说法,新开一个终端
[root@iZe85s0z24rhquZ ~]# ollama -v
ollama version is 0.6.2

拉取并成功运行三个最小配置的模型:
llama3.2:1b
qwen:0.5b
deepseek-r1:1.5b

另外两个稍微大些的,可以拉取,因系统内存限制,无法运行:
qwen2.5:3b(运行需要 2.7 GiB 可用内存)
qwen2.5:7b(运行需要 5.5 GiB 可用内存)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|雨研员工讨论版

GMT+8, 2025-5-5 19:54 , Processed in 0.060348 second(s), 26 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表