TavernAI+KoboldAI本地部署实现AI对话

慈云数据 2024-03-13 技术支持 83 0

必需的前提:

(1)1个GPU,本文使用的是nvidia的,amd应该也可以但我没试过。显存6G或以上,大于等于16G更好;

(2)科学的上网;

(3)Windows系统Linux系统也是可以的,但是我没完整地试过。本文以Windows为准。

另外最好会一些英语,因为目前KoboldAI对话模型对中文的支持都很差,当然可以用OpenAI的API。使用翻译插件也可以。

本文主要是说明KoboldAI的本地部署,如果利用Google Colab云端部署或使用OpenAI的API可参考该文章

https://www.bilibili.com/read/cv22355581?from=search

0.英语能力好的可直接看官方教程

https://Github.com/TavernAI/TavernAI

https://github.com/KoboldAI/KoboldAI-Client

1.配置TavernAI

(1)下载和安装Node.js

打开下面的地址

https://nodejs.org/download/release/v19.1.0/

选x64.msi结尾的,下载后以管理员身份打开安装程序,一路Next直到安装好。

(2)下载和安装TavernAI

https://sourceforge.net/projects/tavernaimain/files/TavernAI.rar/download

下载后解压,打开里面的TavernAI.exe,浏览器会弹出TavernAI的页面,默认地址为127.0.0.1:8000。

2.配置KoboldAI

(1)下载和配置

微信扫一扫加客服

微信扫一扫加客服

点击启动AI问答
Draggable Icon