[RFC] 073 - 语言模型模块升级为 AI Infra

[arvinxx]

背景

自 #737 以来，model provider 的架构设计大获成功，在社区共同建设下，我们现在已经支持了 35+ 的 model providers，但近一年的发展，我们也收集到了更进一步的功能诉求：

• 支持多个OpenAI api 接口，目前这个需求的呼声是极高的：
  • [Request] 能否提供多openai接口，以便跟one-api这类项目联动以实现支持更多模型 #2418
  • [Request] 增加兼容OpenAI的自定义模型 #1985
• 自定义 dalle 模型，现在的 Dalle 画图插件使用的模型写死了 openai 的 dalle3，这对于需要使用 azure 的用户来说并不友好，以及也没法扩展到其他画图模型（例如智谱的 CogView 等）：
  • [Request] 增加Azure DALL-e-3支持 #2536
  • [Request] 能否支持接入智谱AI的其他模型增加绘画功能生成ppt，已经上传word文档等功能 #2807
  • [Request] 希望能开发个对接sd的插件 #673
• 希望自定义 Embedding 模型，以及未来的 Reranker 模型，用于知识库的向量化与查询匹配：
  • [Request] 自定义嵌入模型 Custom Embedding model  #3785
• 希望选择自定义音频模型：
  • [Request] 关于自定义语音模型的问题 #624
  • [Request] Support for ElevenLabs TTS service #651
  • [Request] Add support for Cloudflare AI #1566
  • [Request] Azure Speech Services Integration #1932
  • [Request] 请问会支持 self-hosted whisper 吗 #2117
  • [Request] Whisper 3 #2467
  • [Request] 能够对接azure 语音转文字和文字转语音功能 #2708
• 不少用户对 provider、 models 的排序有诉求乃至执念
  • [Request] 自定义模型排序 #5094
• 结合 [RFC] 071 - 多模态生成 (绘图/视频/音乐) #4741 的 RFC，我们未来也将会提供生成视频、音乐的功能
• 目前model provider的数量过多，导致页面卡顿
  • [Bug] 设置页面切换 Language Model Tab 异常卡顿 #3937

设计思路

原有的 model provider 模块将 model 和 provider 耦合在了一起，所以拓展性不佳，且随着 provider 数量剧增，这个配置页面也变得比较卡顿。

因此考虑将 model provider 模块升级为 AI Engine ，针对不同模块做进一步的细粒度划分：

• provider： 服务供应商，可以在这里配置 provider 粒度的东西，例如：
  • 配置 provider 的 base url / api key
  • provider 排序
  • 开启/关闭 provider
• models: 展示所有开启的 provider 的模型，并允许对该 provider 下的模型进行排序和配置的更新，且会详细拆分为不同类型的 model：
  • LLM：语言模型
  • TTS/STT：音频模型
  • Text To Image：文生图模型
  • Embedding： 向量化模型
  • 其他模型后续按需列举...

Provider 效果示例：