Suggestion d'intégration de nouveaux modèles HuggingFace et installeur automatique de modules et modèles

[koinkoin-project]

• intégrer si possible des nouveaux modeles textes :
  -- https://huggingface.co/mistralai/Mistral-7B-v0.1, modèle préentrainé non modéré ni censuré
  -- https://huggingface.co/spaces/merve/ChatGPT-prompt-generator
  -- https://huggingface.co/spaces/fffiloni/langchain-chat-with-pdf (un chatwithdocument incluant les .doc .xls .ppt et .pdf serait archi mieux)
• implémenter un installeur automatique de modules et de modeles huggingface
  -- creation assistée d'onglets de premier niveau (modules)
  -- creation assistée d'onglets de deuxieme niveau (modeles)
  -- creation automatique des collapse ABOUT et SETTINGS (en fonction du modele)
  -- creation automatique des formulaires et des boutons necessaire pour la bonne utilisation du modele

[Woolverine94]

Hello again @koinkoin-project,

Intégrer si possible des nouveaux modeles textes :
-- https://huggingface.co/mistralai/Mistral-7B-v0.1, modèle préentrainé non modéré ni censuré
-- https://huggingface.co/spaces/merve/ChatGPT-prompt-generator
-- https://huggingface.co/spaces/fffiloni/langchain-chat-with-pdf (un chatwithdocument incluant les .doc .xls .ppt et .pdf serait archi mieux)

• Le modèle par défaut actuel du chatbot llama-cpp est déjà une version finetuné de mistral. Seules les versions gguf des modèles sont compatibles avec le chatbot biniou, mais pas de problème pour rajouter la version gguf de mistral "vanilla".
• Prompt generator ne semble pas intégrable au chatbot directement, mais peut tout à fait faire l'objet d'un nouveau module.
• La fonctionnalité proposée est très intéressante, et fait déjà l'objet de réflexions. Malheureusement, les modèles utilisés sont beaucoup trop lourds actuellement (25 GB pour le plus modeste). Wait & see ...

implémenter un installeur automatique de modules et de modeles huggingface
-- creation assistée d'onglets de premier niveau (modules)
-- creation assistée d'onglets de deuxieme niveau (modeles)
-- creation automatique des collapse ABOUT et SETTINGS (en fonction du modele)
-- creation automatique des formulaires et des boutons necessaire pour la bonne utilisation du modele

Proposition très ambitieuse, et qui requiert probablement de ré-écrire biniou (tel qu'il est construit actuellement) à chaque ajout de modules. Par ailleurs, cela semble à première vue hasardeux de construire le panneau des settings propre à chaque module si ceux-ci n'utilisent pas un pipeline standardisé. L'idée est séduisante, mais techniquement, elle oblige à transformer biniou en un programme qui génère des instances biniou. Ce n'est malheureusement pas l'objectif actuellement.

Merci pour vos suggestions, je me penche sur les 2 premières.

[koinkoin-project]

Le modèle par défaut actuel du chatbot llama-cpp est déjà une version finetuné de mistral. Seules les versions gguf des modèles sont compatibles avec le chatbot biniou, mais pas de problème pour rajouter la version gguf de mistral "vanilla".
👍

Prompt generator ne semble pas intégrable au chatbot directement, mais peut tout à fait faire l'objet d'un nouveau module.
Un module indépendant serait le plus simple, et le mieux aussi.

Proposition très ambitieuse, et qui requiert probablement de ré-écrire biniou (tel qu'il est construit actuellement) à chaque ajout de modules. Par ailleurs, cela semble à première vue hasardeux de construire le panneau des settings propre à chaque module si ceux-ci n'utilisent pas un pipeline standardisé. L'idée est séduisante, mais techniquement, elle oblige à transformer biniou en un programme qui génère des instances biniou. Ce n'est malheureusement pas l'objectif actuellement.

Ah les v2... :)

[koinkoin-project]

-- https://huggingface.co/spaces/merve/ChatGPT-prompt-generator
Merciiiiiii :)
Thks!

[Woolverine94]

De rien :).

Pour information, le modèle utilisé n'est malheureusement pas celui proposé (disponible pour TensorFlow seulement), mais PulsarAI/prompt-generator, qui propose la même fonctionnalité ... en beaucoup plus lourd :(.

[koinkoin-project]

Awesome, thanks for the info! It's cool that you found an alternative. Eager to see what it will yield in my future tests :) ...

... When my PC becomes more powerful, ...

I am considering getting myself an older generation server without a GPU, with the capability to integrate one or two CPUs and a good amount of RAM. Biniou will have to give its all :)

[Woolverine94]

Unfortunately, I can't confirm you the compatibility with older generations CPU, as some modules seems to require modern CPU instructions (like AVX2). Biniou is still very young and has not been tested on a huge variety of hardware (mainly AMD Ryzen 3rd gen at this time). In the case of AVX2, it should be working with CPU produced after 2013 (AVX2 is introduced into Intel Haswell and AMD excavator architectures).

About RAM, even with 32GB you will still sometimes encounter OOM errors, mainly if you use huge models like Kandinsky or Stable Diffusion XL, but it happens less frequently : the more RAM you have, the less biniou is crashing.

Concerning GPU (Nvidia), if you have one, see : #3

[Woolverine94]

Pour résumer :

-- https://huggingface.co/mistralai/Mistral-7B-v0.1, modèle préentrainé non modéré ni censuré

Introduit par le commit 5c403c3

-- https://huggingface.co/spaces/merve/ChatGPT-prompt-generator

Introduit par le commit 9680672