【AI+应用】一步步搭建聊天机器人搭配多种国内外大模型以及api接口调用

慈云数据 1年前 (2024-04-10) 技术支持 57 0

如果你看过我之前写的一篇文章 【AI+应用】怎么快速制作一个类chatGPT套壳网站,  你可能顺利地使用chatGPT、Gemini, 用得很happy。

突然有一天,你发现一些网站,除了chatGPT、Gemini ,还可以切换使用国内外其他的大模型。你肯定想,这些模型我也想拥有。两个字,安排。

先推荐开源软件 lobeChat, https://github.com/lobehub/lobe-chat 。看下官网介绍

1、已支持的模型服务商

  • AWS Bedrock:集成了 AWS Bedrock 服务,支持了 Claude / LLama2 等模型,提供了强大的自然语言处理能力。

  • Google AI (Gemini Pro、Gemini Vision):接入了 Google 的 Gemini 系列模型,包括 Gemini 和 Gemini Pro,以支持更高级的语言理解和生成。

  • ChatGLM:加入了智谱的 ChatGLM 系列模型(GLM-4/GLM-4-vision/GLM-3-turbo),为用户提供了另一种高效的会话模型选择。

  • Moonshot AI (月之暗面):集成了 Moonshot 系列模型,这是一家来自中国的创新性 AI 创业公司,旨在提供更深层次的会话理解。

    2、支持本地大语言模型 (LLM),基于 Ollama 支持了本地模型的使用。  之前我写过一篇 【人工智能】电脑本地从零开始搭建属于自己的大模型

    3 模型视觉识别 (Model Visual)

    4 TTS & STT 语音会话

    5 Text to Image 文生图

    6 插件系统 (Function Calling)

    这些功能,不都是我们想要的么, 各种大模型,本地大模型, 文生图、语音等。

    使用也特别简单,如果你电脑安装过docker的话, docker不会用建议看一下菜鸟教程,这里就不写了。  https://www.runoob.com/docker/docker-tutorial.html

    docker run -d -p 3210:3210 -e OPENAI_API_KEY=sk-xxxx -e OPENAI_PROXY_URL=https://api.xxx/v1 -e ACCESS_CODE=lobe66 --name lobe-chat lobehub/lobe-chat

    其中OPENAI_API_KEY、OPENAI_PROXY_URL 换成自己的。如果服务器搭建在国外,直接可以访问,问题不大。如果国内呢,要么通过魔法直接官方获取地址,要么使用国内api代理来获取。

    之前有同学私信我,想免费安装试用下找下感觉。这里推荐一个开源项目

    https://github.com/chatanywhere/GPT_API_free   ,  GPT3.5按照readme流程可以免费试用,我试用了下GPT3.5没问题。它也提供付费的服务(国内api代理),我没用过,不做推荐。

    对于程序员来说,API接口调用大模型 是项目想做的事情。国内外这么多大模型,我能不能用一套接口调用这些模型?

    这里分2种情况, 如果你是一名大模型应用开发工程师, 肯定会想到LangChain 应用开发框架来搞。但大部分可能是传统的web应用开发工程师, 那么one-api这个项目 就比较合适你。项目地址  https://github.com/songquanpeng/one-api 。

    这里不废话,直接截图

    图片

    用一套数据接口完成不同大模型的丝滑切换, 对于程序员来说,你肯定不希望 一会对接下文心一言api,一会对接下通义千问api吧。

    图片

微信扫一扫加客服

微信扫一扫加客服

简体中文English