必需的前提:
(1)1个GPU,本文使用的是nvidia的,amd应该也可以但我没试过。显存6G或以上,大于等于16G更好;
(2)科学的上网;
(3)Windows系统。 Linux系统也是可以的,但是我没完整地试过。本文以Windows为准。
另外最好会一些英语,因为目前KoboldAI对话模型对中文的支持都很差,当然可以用OpenAI的API。使用翻译插件也可以。
本文主要是说明KoboldAI的本地部署,如果利用Google Colab云端部署或使用OpenAI的API可参考该文章
https://www.bilibili.com/read/cv22355581?from=search
0.英语能力好的可直接看官方教程
https://Github.com/TavernAI/TavernAI
https://github.com/KoboldAI/KoboldAI-Client
1.配置TavernAI
(1)下载和安装Node.js
打开下面的地址
https://nodejs.org/download/release/v19.1.0/
选x64.msi结尾的,下载后以管理员身份打开安装程序,一路Next直到安装好。
(2)下载和安装TavernAI
https://sourceforge.net/projects/tavernaimain/files/TavernAI.rar/download
下载后解压,打开里面的TavernAI.exe,浏览器会弹出TavernAI的页面,默认地址为127.0.0.1:8000。
2.配置KoboldAI
(1)下载和配置