Llama 3.1 本地电脑部署 Linux系统 【轻松简易】

news/2025/2/21 8:40:39

本文分享在自己的本地电脑部署 llama3.1,而且轻松简易,快速上手。

这里借助Ollama工具,在Linux系统中进行大模型部署~

Llama3.1,有三个版本:8B、70B、405B

Llama 3.1 405B 是第一个公开可用的模型,在常识、可操纵性、数学、工具使用和多语言翻译等最先进的能力方面可与顶级 AI 模型相媲美。

8B 和 70B 模型的升级版本支持多种语言,上下文长度显著增加至 128K,工具使用先进,推理能力也更强

这使得 Meta 的最新模型能够支持高级用例,例如长篇文本摘要、多语言对话代理和编码助手。

Meta 还对其许可证进行了修改,允许开发人员使用 Llama 模型(包括 405B 模型)的输出来改进其他模型。

 1、安装Ollama

来到官网地址:Download Ollama on macOS

执行命令来安装ollama:curl -fsSL https://ollama.com/install.sh | sh 

安装位置默认是在 /usr/local/lib/ollama

恭喜Ollama安装成功啦~

启动Ollama():ollama serve

然后可以查询一下版本(可选):ollama -v

或者看一下ollama命令有那些参数(可选):ollama

2、加载和使用Llama3.1

来到Ollama的模型库 https://ollama.com/library/llama3.1

Llama3.1,有三个版本:8B、70B、405B

这里可以先选择小的试一试,比如8b,

输入命令:ollama run llama3.1:8b

这里建议能科学上网,不然可能需要等待很久很久~

成功加载llama3.1:8b啦,能和它聊天交流~

如果想退出聊天,按下Ctrl + d

3、安装chatbox,改善聊天界面

如果使用命令进行聊天,感觉不太舒服,而且代码也不方便表示

这时我们使用chatbox工具,然后加载DeepSeek-R1模型,这样可以用一个漂亮的可视化界面聊天啦

chatbox官网地址:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

点击下载完成后,能看到Chatbox-1.9.8-x86_64.AppImage

我们需要给它添加可运行权限:

sudo chmod a+x Chatbox-1.9.8-x86_64.AppImage

然后双击运行,就能打开它啦~

然后打开Chatbox,进行编辑配置

选择“OLLAMA API”,然后选择模型“llama3.1:8b”,其他配置默认就好啦

开启聊天啦

4、尝试不同版本的Llama

上面是llama3.1:8b的版本,用起来很流畅,于是尝试更大参数量的版本(70b、405b等)

对应的命令:

ollama run llama3.1:70b

ollama run llama3.1:405b

相关文章分享:

DeepSeek-R1 本地电脑部署 Windows系统 【轻松简易】_windows部署 deepseek r1-CSDN博客

DeepSeek-R1 本地电脑部署 Linux系统 【轻松简易】_14900kflinux-CSDN博客

分享完成~


http://www.niftyadmin.cn/n/5860552.html

相关文章

Mybatis的#{}和${}

#{}:预编译语句,用?对参数位置进行一个占位的操作,在数据库生成一个模版,等待后续填充.也可以推测出#在生成模版后的性能是比$快的. ${}:即时语句,提前的吧参数填充进去,在MySQL里就是一个完整的SQL语句. 填充逻辑不同 #{}会给String类型的参数自动的加上双引号,而${}则是直…

欢乐力扣:赎金信

文章目录 1、题目描述2、 代码 1、题目描述 赎金信,给你两个字符串:ransomNote 和 magazine ,判断 ransomNote 能不能由 magazine 里面的字符构成。如果可以,返回 true ;否则返回 false 。magazine 中的每个字符只能在…

OpenCV机器学习(10)训练数据的一个核心类cv::ml::TrainData

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 cv::ml::TrainData 类是 OpenCV 机器学习模块中用于表示训练数据的一个核心类。它封装了样本数据、响应(标签)、样本权重…

旧手机热点无法提供ipv6解决方法(emui 8 热点提供ipv6)

旧手机热点无法提供ipv6解决方法 手机:荣耀8x 系统版本: EMUI 8 网络:移动流量卡 解决方案 设置-》无线和网络-》移动网络-》接入点名称(APN)-》cmiot 修改 APN协议: IPv4/IPv6 修改 APN漫游协议: IPv4/IPv6

网易严选DevOps实践:从传统到云原生的演进

在互联网行业的快速变革中,网易严选面临着前所未有的挑战和机遇。为了提升产品研发运营效率,降低创新成本,网易严选积极拥抱DevOps文化,并在其实践过程中积累了宝贵的经验。本文将深入探讨网易严选在DevOps领域的实践之旅&#xf…

本2硕9电子科学专业,想走linux或是嵌入式,要具体学哪些技术

​今天给大家分享的是一位粉丝的提问,本2硕9电子科学专业,想走linux或是嵌入式,要具体学哪些技术 接下来把粉丝的具体提问和我的回复分享给大家,希望也能给一些类似情况的小伙伴一些启发和帮助。 同学提问: 你好&…

Windows 快速搭建C++开发环境,安装C++、CMake、QT、Visual Studio、Setup Factory

安装C 简介 Windows 版的 GCC 有三个选择: CygwinMinGWmingw-w64 Cygwin、MinGW 和 mingw-w64 都是在 Windows 操作系统上运行的工具集,用于在 Windows 环境下进行开发和编译。 Cygwin 是一个在 Windows 上运行的开源项目,旨在提供类Uni…

嵌入式工业级显示器在环保垃圾柜设备中发挥着至关重要的作用

嵌入式工业级显示器在环保垃圾柜设备中发挥着至关重要的作用。以下是其具体作用的分析: 一、提供交互界面 嵌入式工业级显示器为环保垃圾柜设备提供了一个直观、易用的交互界面。用户可以通过触摸屏幕进行操作,如选择垃圾分类类别、查看投放指南、查询…