chatGLM-6B私有化部署
2023-04-14 本文已影响0人
MobotStone
最近试了下清华大学开源项目chatGLM-6B私有化部署,感觉还是很有前景,按照官方文档项目启动以后占用资源比起普通项目确实要大很多,主要是需要GPUicon提供算力, 不过对于这种生成式模型,这点资源已经算很小了,由于测试服务器资源有限,只能启动一个进程,支持一个并发(烧钱就可以拥有大并发[憨笑]),测试文本回复,逻辑性还是可以,也拥有写代码和解释代码的能力。优点还是很明显,支持企业私有化部署,这样数据是安全的,对于小企业icon有自己的AI生成需求还是很不错的选择。
![](https://img.haomeiwen.com/i2526335/d0b4c700df232f34.png)
![](https://img.haomeiwen.com/i2526335/cfbebb67f6d53279.jpg)
![](https://img.haomeiwen.com/i2526335/5349a9c9d8115f32.jpg)
![](https://img.haomeiwen.com/i2526335/baf7779519a41010.jpg)