【大模型应用】使用 Windows 窗体作为 Copilot 应用程序的 Ollama AI 前端(测试llava视觉问答)...

慈云数据 7个月前 (05-09) 技术支持 34 0

项目 “WinForm_Ollama_Copilot” 是一个使用Windows Forms作为前端的Ollama AI Copilot应用程序。这个项目的目的是提供一个用户界面(UI),通过它,用户可以与Ollama AI进行交互。以下是该项目的一些关键特点和功能:

  • Ollama Copilot: 这是一个为Windows操作系统设计的Ollama AI的用户界面。它允许Copilot响应自动转发到其他应用程序,就像其他付费copilots一样。

  • 集成功能: 该项目包括语音转文本、文本转语音和光学字符识别(OCR)等功能,所有这些都使用免费的开源软件实现。

  • 版本更新: 项目已经经历了多次更新,包括对模型名称中的版本支持、添加打开应用程序文件夹按钮、使用历史记录复选框等功能的增加。

  • 安装程序: 项目包括Windows Installer Setup Project,它包含Python和辅助脚本,以便用户可以轻松安装和运行应用程序。

    此外,项目还包括了一些示例脚本和命令,如启动Pyttsx3Server和TesseractOCRServer,这些都是与项目集成的服务。项目还提供了一个安装程序,使用户可以在Windows上安装和运行Ollama Copilot。

    测试本地大模型llava:latest

    LLaVA(Large Language and Vision Assistant)是一个由威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学研究者共同发布的多模态大模型。这个模型结合了语言和视觉处理能力,旨在提供一个通用的助手,能够有效地遵循多模态指令,例如视觉或语言的指令,满足人类的意图,在真实环境中完成各种任务。

    LLaVA模型的主要特点包括:

    • 多模态指令数据:使用ChatGPT/GPT-4将图像-文本对转换为适当的指令格式,以支持模型的训练。

    • 大型多模态模型:通过连接CLIP的开源视觉编码器和语言解码器LLaMA,开发了一个大型多模态模型(LMM),并在生成的视觉-语言指令数据上进行端到端微调。

    • 开源:研究者向公众发布了生成的多模式指令数据、用于数据生成和模型训练的代码库、模型检查点和可视化聊天演示。

      LLaVA模型在多模态理解和生成方面展现出了强大的能力,尤其是在视觉问答、图像描述等任务上。它已经在多个基准测试中展现出了新的状态最优(SOTA)成绩,成为OpenAI的GPT-4V的有力竞争对手。

      5825c934879e18a3d30248a019793248.png

      主界面切换到Config 页选择已安装的Ollama模型“llava:latest”

      a71d36271759aa1cadf27866308a75ee.png

      42c8906a7935bcc6fb70ac340983150d.jpeg

      切换到Prompt 进行文本提问(Ctrl+Enter提交)

      eb58d29737daa9a0fefd308ba740d154.png

      修改提示词,准备对图片进行问答

      138853c61e03b5d9d3b54ac0dfdc6cc8.png

      切换到Images页面

      487b1ce9fa55c4af5075345af6e5af1c.png

      复制一张图片,点击Paste,之后Submit

      d2b9ff8fa35d5ca5d9b728fda82ef2ee.png

      (提示词)识别图片内容,请用中文回答,下面为对图片的描述

      这张图片中的内容是:
      * 一位腹肌发达的男性,他正站在一个红色的单车上。
      * 男性戴着黑色的运动服装和白色的球鞋。
      * 周围有一些建筑物和城市环境。
      * 男性肌肉发达,展现出来是一个健身人士,可能是一个健身教练或者单车运动员。
      无法确定他的具体职业,但他确实有很好的身材和身材健康的生活习惯。

      0aab97ab0aec1763bd80426083110b41.png

      再复制一张图片,先点击Clear,再点击Paste,最后Submit

      f08e7500b3e00c97eb1bf38d80f0a48b.png

      这张图片是一张街道上的行走者,她正在过马路,而且有一些交通设施,
      比如自行车道和烧瓜机。这个女人身上没有背包,因此不能确定她是否携带物品。
      当然,图片中的其他细节也可以看出这是一个公共地区。

      图片描述结果

      8fca5570f9df0183de9501c19ecfb1b7.png

      翻译为中文:
      图像显示一名行人在红绿灯处过马路。这个人正在穿过人行横道,人行横道有斑马
      线图案。他们穿着蓝色牛仔裤和深色上衣,一只脚抬起,仿佛在跨步中。这个人提
      着一个手提包,似乎在向前看。
      街道本身非常繁忙,有许多车辆,包括停放和行驶的汽车和卡车。图像左侧有一辆
      白色货车,背景中还可以看到其他几辆车。角落里还有一个交通信号灯,表明这是
      一个有管制的十字路口。
      图像中没有可见的文字。整个场景表明这是一个有正常交通状况的城市环境。这个
      人的动作暗示他们正在遵守在指定区域过马路的规则。

      英文提示词:Describe this image 或 “What is shown in this image?”

      注:中文效果可能没有英文详细。而且每次回答不尽相同

      a161a853646dea9d0bad976ece31e375.jpeg

      29e0ebe530e64f8f25f40f3af60bebbf.jpeg

      2661758563556b0d917c12414060a78d.jpeg

      参考网址

      https://github.com/tgraupmann/WinForm_Ollama_Copilot/releases/tag/v1.0.5 程序下载地址

微信扫一扫加客服

微信扫一扫加客服

点击启动AI问答
Draggable Icon