標籤歸檔:llama.cpp

中文LLaMA Alpaca大語言模型在text-generation-webui和llama.cpp上的部署

中文LLaMA模型和指令精調的Alpaca大模型在text-generation-webui和llama.cpp上的部署
LLaMA是facebook的meta公司放出來的大語言模型,這個模型的中文能力非常差。Chinese-LLaMA-Alpaca在原版LLaMA的基礎上擴充了中文詞表並使用了中文數據進行二次預訓練,進一步提升了中文基礎語義理解能力。目前已開源的模型版本:7B(標準版、Plus版)、13B(標準版)。這些版本可以在16G,甚至可以在8G內存的個人電腦上部署。似乎不用顯卡。今天我在16G內存的個人筆記上部署了。這是記錄。

由於筆記本電腦只有16G,所以我選擇是LLaMA/Alpaca Plus版本(7B)版本。7B的模型占內存13GB,8bit量化後是7.8GB。

模型下載與合併

部署需要原版LLaMA模型和中文LLaMA模型Chinese-LLaMA-Plus-7B與中文Alpaca模型Chinese-Alpaca-Plus-7B。三個模型要合併成一個模型。
頁面也提供了Colab在線合併的方式,在線合併的話就不用下載上面的三個模型,只要下載合併好的模型就可以了。

繼續閱讀

發表在 人工智能 | 標籤為 , , , | 評論關閉