怎么在自己的笔记本电脑或台式机上离线运行Google的Gemma

2024-02-24  本文已影响0人  万州客

时代浪潮,滚滚向前,不进则退。这不,Llama2, Phi-2,Mistral,MiniCMP,Gemma都得试试呀~

一,下载LM Studio 0.2.16以上版本

官网:
lmstudio.ai/

image.png

Mac,windows,linux都支持

二,在LM里搜索相关模型并下载

image.png

界面里,左上角区域带放大镜那个图标用来搜索

三,在LM里加载测试使用各个模型

image.png

在LM的左右区域里有个聊天图标,在上面紫色区域那可以选择我们下载好的各个模型。
一般都2G~10G文件大小。
然后,直接在USER里输入prompt来测试啦。
我笔记本上运行Gemma 2G,完全无压力。7B应该也问题不大。

四,注意事项

上一篇下一篇

猜你喜欢

热点阅读