Présentation
Une machine, de nombreux modèles
Faire tourner un modèle sur votre propre ordinateur, c'est la partie facile. En faire tourner plusieurs, pour plusieurs personnes, c'est là que tout se complique : deux clients se télescopent sur le même serveur, une tâche d'image accapare la mémoire qu'occupait le modèle de langage, chaque moteur exige son propre environnement, et chacun a été conçu pour fonctionner seul.
llamanager est la couche qui permet à un seul ordinateur de se comporter comme un service. Il installe les moteurs, télécharge les poids, supervise les processus et place une file d'attente unique devant eux tous. Texte, image, vidéo et parole arrivent à la même adresse, passent par la même porte et apparaissent dans le même tableau de bord.
C'est la couche d'inférence locale qui sous-tend les systèmes d'IA locale que nous construisons, et nous l'utilisons tous les jours. C'est un logiciel privé, proposé sur devis : nous l'installons sur votre matériel, choisissons des modèles à poids ouverts adaptés au travail et à vos langues, et restons disponibles ensuite. Ce que vous générez reste sur la machine qui l'a généré, dans vos locaux ou dans le centre de données de votre choix.
- Quatre famillestexte, image, vidéo, parole
- Une seule adressedans les formats que vos outils parlent déjà
- Votre machinemacOS, Linux, Windows
Ce qu'il fait tourner
Quatre familles, une seule file
Chaque famille s'installe depuis la même page et passe par la même file d'attente.
Génération de texte
Des modèles de langage derrière une adresse que vos outils existants savent déjà utiliser. Indiquez un autre modèle dans une requête et la file le charge pendant que le travail en cours se poursuit, ou gardez-en plusieurs chargés côte à côte, chacun dans son emplacement, pour que chaque requête trouve celui qu'elle a demandé, prêt à servir.
Génération d'images
Plusieurs moteurs d'image, chacun installé depuis le tableau de bord. Générez à partir d'un prompt, ou à partir d'images de référence pour la retouche, la composition et les variations. Chaque résultat est rangé dans une galerie sur le disque, à côté des paramètres qui l'ont produit.
Génération de vidéos
Des clips à partir d'un prompt, d'une image de départ ou de quelques images fixes de référence. Avant tout chargement, llamanager calcule ce que le clip coûtera en mémoire graphique et, s'il est trop lourd, indique une taille qui tient.
Génération audio
Le son a sa place dans la même file que tout le reste. Les clips générés peuvent porter une bande sonore créée en même temps que l'image, et le travail audio s'installe, passe par la file et est servi de la même façon que toutes les autres familles, depuis le même tableau de bord.
Transcription de la parole
De la parole au texte, avec l'horodatage et le niveau de confiance de chaque mot, à partir d'un fichier ou en direct depuis un micro. La transcription garde un processus prêt et traite de nombreuses requêtes à la fois dans un budget mémoire : elle tourne ainsi à côté d'un modèle de langage chargé, qui reste en place.
Contrôle
Conçu pour être partagé
Une file avec priorités
Chaque requête rejoint une file unique, étiquetée avec le client dont elle provient et la priorité attribuée à ce client. L'éditeur dans lequel vous tapez reste réactif à côté d'un long traitement de nuit, et annuler une tâche arrête le travail lui-même, qu'il soit en attente ou déjà en cours.
Personnes et clés
Chaque personne et chaque outil reçoit sa propre clé, conservée uniquement sous forme d'empreinte. Les priorités se règlent par clé, et toute clé peut être désactivée puis réactivée : un client peut ainsi être mis en pause une semaine et reprendre avec la même clé. Le journal d'activité consigne qui a demandé quoi.
Moteurs et poids, installés
Les moteurs s'installent d'un clic. llamanager construit l'environnement dont chacun a besoin, garde chacun dans le sien, et affiche l'espace disque occupé et le journal au fil de l'installation. Les modèles à poids ouverts sont récupérés de la même façon depuis des dépôts publics, en totalité ou en partie, avec la progression affichée sur la page.
Une carte graphique, partagée
Les familles qui utilisent la même mémoire se relaient par défaut et la partagent lorsqu'il reste de la marge, selon une règle que vous définissez. La transcription s'exécute dans un budget qui laisse le modèle de langage en place. Un moteur qui plante est redémarré, jusqu'à un nombre de fois défini.
Une seule adresse pour tout
Tout répond sur un point d'accès unique, dans les formats qu'utilisent déjà les bibliothèques clientes courantes : le code existant pointe vers votre machine en changeant une seule ligne. Les assistants et les agents peuvent piloter la machine autant que dialoguer avec elle : lister les modèles, surveiller la mémoire, télécharger des poids, générer, transcrire.
Un coup d'œil depuis votre téléphone
Le tableau de bord est conçu pour le téléphone comme pour l'ordinateur. Sur votre propre réseau privé, vous voyez la file avancer, le modèle chargé, et ce qui s'est passé pendant votre absence.
Plateformes
Où il tourne
- Systèmes d'exploitation
- macOS, Linux et Windows. Il peut démarrer avec la machine ou à l'ouverture de session, et se gère de la même façon sur les trois.
- Cartes graphiques
- Les cartes Apple, NVIDIA, AMD et Intel sont détectées et leur mémoire est affichée en direct. Il fonctionne aussi sur le seul processeur, plus lentement.
- Accès
- Il n'écoute que la machine elle-même jusqu'à ce que vous en décidiez autrement. Ouvrez-le à votre propre réseau privé, et le tableau de bord comme le point d'accès vous suivent sur un téléphone ou un autre ordinateur portable.
- Ce qui sort
- Les prompts, images, clips et enregistrements restent là où ils ont été créés. Le seul trafic que llamanager initie consiste à récupérer les moteurs et les poids que vous avez demandés, et à vérifier si une version plus récente existe.
FAQ
Questions fréquentes
Qu'est-ce que llamanager ?
llamanager est notre logiciel pour faire tourner des modèles d'IA sur une machine qui vous appartient. Il installe les moteurs, télécharge les poids des modèles et traite le texte, l'image, la vidéo et la parole via une seule file d'attente, une seule adresse et un seul tableau de bord, avec une clé et une priorité pour chaque personne qui l'utilise.
Nos données quittent-elles la machine ?
Non. Les prompts, images, clips et enregistrements sont écrits sur le disque de la machine et y restent ; ils restent donc dans le pays où se trouve la machine. Le seul trafic sortant que llamanager initie est le téléchargement des moteurs et des poids de modèles que vous demandez, et la vérification de l'existence d'une version plus récente de lui-même.
Peut-il faire tourner des modèles qui fonctionnent en arabe et en français ?
Oui. Il existe de bons modèles à poids ouverts pour la conversation et pour la transcription dans ces deux langues, et llamanager les sert comme n'importe quel autre. Nous choisissons et testons les modèles pour vos langues et votre domaine avant de les installer.
De quel matériel a-t-il besoin ?
Un ordinateur équipé d'une carte graphique est le cas le plus confortable, et plus cette carte a de mémoire, plus les modèles peuvent être grands et les clips longs. llamanager lit ce dont dispose la machine, suggère des tailles de modèles adaptées et indique une taille qui tiendrait lorsqu'une tâche est trop lourde. Dites-nous quelle machine vous avez et nous vous dirons ce qu'elle peut faire tourner.
Plusieurs personnes peuvent-elles partager une même machine ?
Oui, c'est précisément sa raison d'être. Chaque personne et chaque outil a sa propre clé et sa propre priorité, tout arrive dans la même file, et chaque client passe à son tour. Toute clé peut être désactivée puis réactivée.
Fonctionne-t-il avec les outils que nous utilisons déjà ?
Oui. Il répond dans les formats que les bibliothèques clientes courantes parlent déjà, si bien que du code écrit pour un service hébergé n'a généralement besoin que d'une nouvelle adresse et d'une nouvelle clé. Les assistants de programmation et les agents peuvent aussi piloter la machine elle-même : charger des modèles, surveiller la mémoire, générer, transcrire.
Comment obtenir llamanager ?
llamanager est un logiciel privé, installé pour vous. Nous le mettons en place sur votre matériel pour les personnes et les outils qui l'utiliseront, choisissons les modèles adaptés au travail et restons disponibles ensuite. Chaque installation fait l'objet d'un devis : dites-nous ce que vous voulez faire tourner, et sur quelle machine.
Demander un devis
Faites-le tourner sur votre propre machine
Dites-nous ce que vous voulez générer, transcrire ou garder en interne, et de quel matériel vous disposez. Nous vous dirons ce que llamanager peut en faire, et ce que cela coûte.
Utile à préciser
- Ce que vous voulez faire tourner : conversation, images, vidéo, transcription
- Les langues de vos contenus
- Le matériel dont vous disposez, ou que vous prévoyez d'acheter
- Combien de personnes et d'outils le partageront
Ouvre votre messagerie avec ces points prêts à compléter.