最近了解到开元大模型 mom 三,很好奇自己的电脑能不能跑,由于手头没有显卡,打算只用 cpu 跑跑, 正好我这有一台 amd 九六五四 cpu, 这颗 cpu 拥有九十六核,一百九十二线程内存十二条,十六 g 内存一共一百九十二 gb, 很好奇只用 cpu 能不能跑。拉满三七十 b 模型,先让后台下载着模型,我这里展示下电脑的配置。 为了有一个对比,我这里又下载了一个小的 lum 三八 b 模型 two thousand years later。 这里为了展示效果,我装了一个网页入外来展示。首先试下这个 lum 三七 计时币的效果如何。左侧是我的电脑资源占用情况,我们首先限定下该模型回复语言,如果不设置的话,默认是英文回复的。 我这里再问一个编程问题, 总体的回复速度我还是挺满意的,和百度、阿里等 gpt 回复速度差不多,此时电脑 cpu 占用百分之五十左右也不高。 稍后我们用那个 lum 三八 b 测试下回复速度应该更快一些。 这里我切到 lum 三八 b 测试下,问的问题和刚刚相同, 大家可以看下回复速度。 这里速度明显快了许多。 同样的问题, lum 三七时必回答的更详细些, 这里可以看下统计的回复速度。浪漫三七零 b 模型是四点九一 tok 每秒, 浪漫三八币为二十三点九九 token 每秒。这一对比果然快了很多倍,所以看来只用 cpu 跑大语言模型 还是可以的,但是 cpu 需要强悍一些。本次测试到这里就结束了,大家也可以试试自己电脑跑该模型的速度。
粉丝365获赞998
啊,大家好,这里是零比说,今天我们主要来说一下如何本地部署买打最新发布的拉姆索瑞 ai 大模型,支持 cpu 和 gpu 运行。虽然在上一期视频里我们已经演示过如何进行下载和安装,但是那个教程对于新手来说可能有点难度, 所以今天我们来做一个更简单的步骤方案,你只需要动动手指头就可以安装完成。在开始之前,首先我们需要打开零度博山这篇文章链接,我会放在视频下方,打开以后,然后往下拉,接下来我会介绍三种不同的安装方式,他们更有优势哦,但是总有一款是最适合你的。 首先我们说第一种就通过 gpdfo 这款程序来进步数,他比较适合低配置的电脑用户,不仅可以通过 gpu, 也可以在 cpu 上进行运行。我先把端下来,点上方下载链接 啊,打开以后,它上面总共有三个版本,一个是 windows, 然后第二是麦克,还有另一个是都可以啊,它上方就说明这是一个免费使用,支持本地运行,具有隐私的聊天机器人,不需要 gpu, 也不需要联网就可以使用。那现在根据这情况去下载,比如这么选择,第一个就 windows 版本, 我们该倒下来,这款车型总共是二十六兆左右,我们先给他倒下来啊,下载好以后,然后下面双击打开进行安装一下, 这个安装过程就非常简单了,你直接点下步就可以了,他会自动进行安装,然后这里面勾选接受他条款协议,这么点下一步,下一步进行安装就可以了啊,安装完成以后,接着打开它 啊,进入以后啊,下面点下面有个 download models, 用来下载的大模型,打开以后大家可以看到这是我之前下 下载好的模型,如果你需要在里面下载 number three 大模型的话,那么只要在上面输入关键词 number three, 输入好关键词以后请搜索一下 啊,搜索以后就可以看到下方就可以看到这个 number three 的大模型了,它里面有多个版本,这里根据自己需要进行选择,如果电脑上没有一张好的显卡的话,那么建议选择八 b 模型,选择以后,点击右侧的登录的按钮,它就会自动下载这个 number three 的大模型。在下载过程中,我们来看一下它一些必要设置, 先给它关闭掉,然后点右上方这个设置按钮就这里了。打开以后主页看第二个选项,像第一个选项你给设置不同的颜色,比如需要白色的或者是黑色的都可以。 设置好以后可以在下方选择不同的字体大小,然后再选择设备。如果点赞没有显卡的话,当然选择 cpu 来去运行也是可以的,但通过 cp 运行的话,他速度肯定会慢一点,有显卡的话一定要取得显卡,然后其他的可以不用管。当他下载好模型以后,那么现在就可以在上方这里找到这模型了,选择指定模型以后就可以进行使用了。这里需要说明的是,如果想让这个 ai 模型进行中文回复的话,那么首先第一句话你要输入,你好,请用中文回复, 输入好以后,我发动想他就可以用中文和我们进行交流,别的没输入请帮我分析一下,你觉得额无冲动将会在什么时候结束,将会带来哪些深度影响? 录好以后发送一下。对于八 g 上显存来说,运行这个八 b 模型速度是非常快的,不管是文本对话的写代码都非常快。但如果你是通过 cpu 来进行运行的话,我们来测试一下它的效果。我把这个硬件改成 cpu 来进行运行啊。切换以后你们试一下他现在通过 cpu 运行的,我来问他一下 幽默输入,你好,请帮我分析一下美国未来两年的经济发展趋势,那就通过 cpu 来运行的话,来看一下效果怎么样吧,大家看一下。用 cpu 来运行的话,他速度就慢很多了,所以说 cpu 并不是不能运行,只不过他速度比较慢而已, 他几乎是每秒两个字,两个字往外冒的。然后接下来说第二种方法,就通过这款 numbers 丢丢这款程序进步数,因为他支持的模型比较多,不仅有八币,还有七十币都有啊。接下来演示他的使用过程,我们先点下载 啊,打开以后,然后选择对应的版本,像第一个是有 mac 的,第二个是 windows 版本,第三个 linux, 因为是 windows 系统,所以这里选择 windows 版本,我们给它端下来,总共是四百多兆 啊。下载好以后,然后双击打开进行安装就可以了啊。安装好以后,然后进入到页面 gm, 在上方输入这个拉姆手雷这关键词来搜索这个大模型,我们点击购啊,这时候你就可以发现他上方就提供这个拉姆手雷的模型下载了,不管是八币还是七十币都有,到时候根据需要进下载就可以了,比如这里我选择一个七十一长处的这个拉姆手雷大模型, 打开以后在右侧这里你可以选择不同的模型,像这 q 一、 q 二、 q 三这个模型越大的话,他们他性能越强,如果在下方出现这种红标的话,那么意味着这个模型他已经超过电脑硬件配置了,这种模型就不要下载了,即使下载以后也没法使用的,别在上方这选择这种没有红标的就可以了, 优先选择这种绿标的,到时把登录下来就可以,点击登录以后,他会在下方这里显示整个下载过程,当他下载完成以后,那么接下来演示下如何使用吧。首先我们点左上方的兑换按钮, 这个 a charter 就这里了,打他啊,这段话他会新建一个对话框。首先第一步,在开始对话之前,首先我们需要选择对应的模型,在上方这里来选择这刚刚下载好的模型,比如说第一个就这个七十币七百亿长数的这 number three 大模型,我们选择它 这段话,他会自动加载这个模型的啊,加载完成以后你都没输入,请帮我编写一个拍正脚本,实现自动翻译 youtube 字幕,最好实现多元功能。录好以后我们点击发送一下,看他行不行啊。 好,这样他就开始了,这个是非常快的,这里需要说明一下是如果当运行这七十亿参数的模型比较慢的话,那么很可能是因为 gpu 没有开到最大县城啊,就右侧这里他有硬件设置,他可能是调用百分之五十的性能,如果想实现最大化速度,那么就在 下方选择这个 max, 它就可以百分百调用这 gpu 性能了。这个设置选项它主要在右侧有高级设置,这里打开以后就可以展开来 就会看到 gpu 设置了。如果你需要查找你自己下载好的模型,那么在左侧这里有个卖 models 文件夹,打开以后就会看到这里面都是我们自己下载好的模型,那么点上方有个显示这个文件夹的时候,他就可以进入到模型文件夹下,下载好的模型都在里面。 然后接下来我们说第三种方案,就通过这个二维码平台来进行部署,通过这款应用程序,它可以在 windows, 麦克还有雷凌的系统下进行运行,然后下面来试下它的效果。 我们先点下载啊,进入以后,他上方有提示他现在可以运行这个 number three mister 还有谷歌 drama 的计量模型,我们先把它端下来啊,进入以后同样选择对应的版本就可以, 对了,也就选择 windows 版本,总共是两百多兆。好。下载好以后,然后先把头像进行安装一下,打开以后点击 install 啊,当它下方显示这个 onoma 也是在运行中的,那说明它现在已经安装成功了啊。安装好以后,然后下面需要在我们的 windows 电脑上打开这个 wsl 功能,这样只要跟我一样在下方这里搜索这个,启用后关闭 windows 功能, 拿到选项以后,我们打开它好,进入以后,现在我们需要把里面有一个适用于 linux 的 windows 系统这个选项给它勾选上,勾选好以后,我们点确定, 他就会自动在我们电脑上安装好这个 windows 系统,安装好以后,我们点击重启下电脑,在重启电脑之前,你最好保存下我们当天这个教程,否则一会重启以后,你很可能就找不到了啊。重启以后,然后下面进行下一步, 就在我们电脑上安装下刀刻桌面板,我们点击前往啊,打开以后,那先把这 windows 版本给端下来,点安装下刀刻环境,那打好以后同样可以进行安装一下,咱们点击, ok, 还有这种安装好这个刀刻环境 啊,安装好以后,他需要我们再次重启一下电脑啊,重启以后他会自动运行这个多个桌面板,这么点击分进去就可以了,然后这他让我们注册一个多个账号来进行登录,其实不用登录也可以。然后接下来直接最后一步,就是在终端下通过这行命令来安装一个外部意外程序,对着可视化操作页面, 我把这按命令给扩闭一下,扩闭好以后,然后下方搜索栏里输入 c m d, 打开这个命令提示符啊,打开以后,那就把鼠标右键去粘贴一下,然后我们确认一下,他就会自动下载,并按照这个 opn 码这款程序的 意外程序的这个安装过程可能需要点时间啊,我们稍微等待一下,这里需要注意的是,如果你不在海外的话,那么一定要提前做好全球科六上网啊,那这里面点击允许然后就可以了。安装好以后,然后现在就跟我一样在浏览器上打开这个地址就可以了, 打开以后答应看到界面的话,那说明他就安装成功了,那下面进行注册一个账号,点下方一个三 up, 名字的话随便填写,有输入,零度,输入好以后打出一个邮箱,接着我们创建一个密码,输入好以后我们点击创建 啊这段话就可以了。在梦情况下他是英文的,然后现在把这英文切换成中文的,第三方一个设置按钮,然后找到里面一个 language, 把这个语言切换成中文的,有中文简体还有繁体都有啊, 装好以后我们点击保存一下啊,这样的话这个操作界面就完成了,那下面需要下载模型,同样进入的设置总型,选第三选项模型这里,然后选择对应的模型文件,比如这么选择这个拉莫斯瑞,如果你不清楚模型的名称的话,那么点下方这里 打开它,打开以后来获取这模型的名称,比如你需要下载这个 number 七十币的,那么选择以后在后面他会出现这个模型的名称了,把这后面名称给他扩币出来,用 numbers three 冒号七十币。扩币好以后返回来在下面输入这个模型名称就可以了。输入好以后,我们点击下载 好这段话,他就可以自动下载这个模型了。如果需要下载拉莫属类八 b 的话,那么把后面这个七十 b 改成八 b 就可以了。录好以后点击下载,他就会下载第二个模型了 啊,这拉玛索瑞八十一仓数的,他现在下载完成了,那现在试下它效果啊,我在上面选择一个模型,选择这个拉玛索瑞八 b 模型,那现在试下它效果, 比如输入,你好,请用中文自我介绍一下,录好以后发送啊,他说你好,我是那么一个由迈特 ai 开发的语言模型,我可以理解自然语言生成、人工对话并回答问题等等。 这款 ai 软件它是自带绘画功能的,它目前支持三种方式,第一个是对接 stabid defiction, 如果电商已经运行了这个 stab defiction 的话,那么可以在下方这里输入 stable defiction 的本地运行链接。然后第二是 conflic ui, 第三是 open ai, 就带有一模型, 到时在这里输入你的 open air mia 就可以了。更多的设置功能大家可以自己去尝试,大家写代码也没问题。今天视频所需要的全部资源, 他们链接我都放视频下方。
新电脑到手之后呢,一定要进 boss 进行这几个设置,开机按键盘的第二键进入到 boss, 进入之后呢,改成简体中文。第一个,先把叉 mp 功能打开,这个如果你不开的话,你的内存就白白浪费了, 本身是个高频率的内存,但是你只能用低频率运气。第二个设置呢, f 七,进入高级模式,再点击高级向下拉,找到高级电源管理,找到一二批支持 右侧的选项。 d 开头的改成开启这个功能呢,开启之后你的外设关机之后就不再亮光了。第三个呢,向后退一下,在高级里头找到北桥,找到 vt。 玩模拟器的一定要开启这个,要不然你 游戏玩着会卡的。把 d 开头的呢,改成一开头的就是开启了,这个三个设置一定要记住了,然后按 f 十回车保存,这样就可以了。
每月一推荐,预算在一万到底一万几你说就可以,我们今天这一套价值一万一千六百六十六的配置,对于想要入手一台电脑,但是却没有时间了解电脑的小伙伴来说,绝对很合适。 首先在 cpu 的选择方面,给到的是十四代的 i 五的幺四六零零 k 五,虽然 i 九的幺四九零零 k 五的多核心性能强,但是玩游戏呢,看的就是单核心, i 九能玩的游戏, i 五照样能玩,所以从玩游戏绝对的性价比来说, i 五更合适啊。 那么在固态和内存上呢,本次选择的品牌呢,是来自国际一线知名大牌的金斯顿,那金斯顿就务必要说一下,首先它的内存呢,在二零二二年的销量榜啊,以及盈利榜是位列榜首,其占比率呢是百分之七十八点一二啊,位居榜首,蝉联 去年的第一名,而且其他的同行呢,根本没有超越的可能,所以本次呢,我们用的就是金斯顿的产品,给到的在内存方面呢,是十六 g 乘以二三十二 g 的六千频率,一共是三十二 g 啊,那么在固态上呢,依旧是来自金斯顿的品牌 kc 三千啊,一共是一 t 的容量,如果是这个容量不够,咱们后续可以再降来。主板方面也很关键,这一次的主板虽然预算很紧张,甚至可以啊,可能很多啊, 同行可能会用 bcd 的主板,但是呢,我们咬咬牙,还是给到了华硕的 z 七九零芯片组, z 七九零芯片组很重要的呀,为什么这么说,既可以支持 cp 超频,也可以支持内存视频超频,支持两项超频的同时,它的本身的 一个接口拓展器也是非常丰富的,相比 b 七六零啊, p c i e 的接口也多一些啊,咱们 m 点二的一个接口呢,相比 b 系列主板也会略微的多一些啊,还是那句话,芯片组 大于一切好吧,来,在上汽的方面呢, i 五的 cpu 的呃,功耗的话,就算满载也就一百多瓦啊,不比的咱们的 i 九的 cpu 上到两百多瓦。所以在散热器方面呢,可能一百多块钱的风冷散热器就够了,比如我随便爆一款, 比如手里的这款九州风声的 ak 六二零,那是轻轻松松。但是不是每个人都不欣赏颜值的一款主机,除了性能合格,颜值还有合格,所以本次选择的话,水冷是来自我们古家波塞冬的三六零一体式水冷,其实除开这款水冷,只要你的价格,水冷在五百到一千都是可以 任意选择的,这个价位的水冷压制 i 五呢,还是比较轻松的,其次性能强悍的情况下,颜值也好看,而且选择的方向也很多,对不对?来,那我们下面一个就是我们的显卡, 显卡方面,考虑到这个预算呢,大多数小板用的都是一 k 和二 k 的显示器,所以我给到的型号就是来自我们华硕的四零七零的巨齿鲨,在一 k 和二 k 的画质下,绝对是高画质拉玛 玩到爽的一张显卡,并且是四零系列里边目前分界线最明显的一张显卡。为什么这么说,因为它的价格呢,大概在五 k, 而上到四零七零台 差不多就是八 k, 四零八零一点二 k, 四零九零二点四 k, 所以就五 k 的四零七零显卡来说,真的是香啊啊,来下一个硬件,七零系的显卡 七百五十瓦就够了,本次给到的是威刚 x p g 的七百五十瓦啊,那么带一张四零七零加上一个 i 五的 cpu 还是有容易的。最后的机枪方面的话, 推荐是万元左右的呃,全整机的话,基本上三百到五百的机箱就可以了,本次给到的是英武者叉五 pro 机箱,这款机箱的话简单说一下,首先它的一个前部是全开孔的网, 网控式,做到这种设计的话,所以它的风扇进风量是非常强的,所以它的一个三六零冷排前置三六零是支持三把幺二零或者幺四零的风扇,所以它的颜值啊, 而散热方面通通都是拥有的。 ok, 那么这样的一套价值一万一千六百六十六的整机呢,基本上所有的硬件呢就分享完毕了,正好在这个医生的小伙伴绝对值得参考一下, 还有我刚才提到的,没有时间了解电脑,但是又想拥有一台主机的小伙伴一定可以参考一下。 ok, 那么以上这台飞驰呢,就已经全部介绍完毕了,感谢屏幕前小伙伴的收看, 如果说啊,还有多余的想法,私信我,随便给你回答你所有的电脑疑问,那下期呢,再给大家带来更加不错的电脑配置。