标签归档:llama.cpp

中文LLaMA Alpaca大语言模型在text-generation-webui和llama.cpp上的部署

中文LLaMA模型和指令精调的Alpaca大模型在text-generation-webui和llama.cpp上的部署
LLaMA是facebook的meta公司放出来的大语言模型,这个模型的中文能力非常差。Chinese-LLaMA-Alpaca在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练,进一步提升了中文基础语义理解能力。目前已开源的模型版本:7B(标准版、Plus版)、13B(标准版)。这些版本可以在16G,甚至可以在8G内存的个人电脑上部署。似乎不用显卡。今天我在16G内存的个人笔记上部署了。这是记录。

由于笔记本电脑只有16G,所以我选择是LLaMA/Alpaca Plus版本(7B)版本。7B的模型占内存13GB,8bit量化后是7.8GB。

模型下载与合并

部署需要原版LLaMA模型和中文LLaMA模型Chinese-LLaMA-Plus-7B与中文Alpaca模型Chinese-Alpaca-Plus-7B。三个模型要合并成一个模型。
页面也提供了Colab在线合并的方式,在线合并的话就不用下载上面的三个模型,只要下载合并好的模型就可以了。

继续阅读

发表在 人工智能 | 标签为 , , , | 评论关闭