Le rêve de Balaji Bikshandi est devenu réalité avec BMASS, un système qui permet de booter directement sur une IA locale sans avoir à passer par le moindre environnement de bureau. Cette innovation est rendue possible grâce à l’utilisation d’Alpine Linux, de llama.cpp et d’un modèle Qwen3 0.6B quantifié, le tout installé sur une clé USB de 8 Go. Une fois l’ordinateur allumé, Alpine démarre depuis la clé et vous tombez sur un prompt BMASS. À partir de là, vous pouvez interagir avec votre ordinateur en langage naturel, et BMASS injecte les commandes nécessaires pour exécuter les tâches demandées. Le code de BMASS est relativement court, avec seulement 399 lignes de Python, et nécessite de faire tourner un llama-server en background sur le port 8080. Cette solution est particulièrement intéressante car elle tourne sur du CPU, est hors-ligne et peut être installée sur des vieilles machines.
Le fonctionnement de BMASS
BMASS fonctionne en établissant un pont entre le modèle IA et le shell, ce qui permet d’exécuter des commandes Linux sans privilèges. Lorsque vous demandez à BMASS de faire quelque chose, il injecte la commande appropriée dans une balise et le runtime l’exécute sous un compte Linux non privilégié. Le modèle IA récupère ensuite la sortie brute pour répondre à votre question. Par exemple, si vous demandez à BMASS de vous dire quel est le système d’exploitation utilisé, il exécutera la commande cat /etc/os-release pour vous donner la réponse. Cette approche permet une interaction fluide et naturelle avec l’ordinateur, sans avoir à passer par un environnement de bureau classique.
Il est important de noter que le code de BMASS contient une regex baptisée FALSE_EXECUTION_CLAIM, dont le rôle est de détecter les cas où le modèle prétend avoir exécuté une commande alors qu’il n’a rien lancé du tout. Le runtime renvoie alors une correction pour informer le modèle qu’aucune commande n’a été exécutée. Cela est particulièrement utile car le modèle Qwen3 0.6B est connu pour halluciner parfois, ce qui pourrait entraîner des comportements inattendus. En outre, le système est relativement léger en termes de sécurité, avec simplement une regex qui bloque les commandes sudo, doas, pkexec et autres su.
Les limitations et les risques de BMASS
Même si BMASS est une solution intéressante, il est important de prendre en compte les limitations et les risques associés. Puisqu’il n’y a pas de conteneur, de namespace ou de liste blanche, le système est vulnérable aux attaques si le modèle décide de lancer une commande malveillante. Par exemple, si le modèle décide de lancer la commande rm -rf, cela pourrait avoir des conséquences catastrophiques. Il est donc important de déployer BMASS uniquement sur une vieille machine sans importance, et de ne pas l’utiliser pour des tâches critiques.
En outre, la documentation d’installation de BMASS peut être un peu trompeuse, car elle demande de copier le prompt système dans /opt/bmass/config/system-prompt.txt, alors que le launcher le cherche dans /opt/bmass/system-prompt.txt. Il est donc important de suivre les instructions avec soin pour éviter les problèmes de configuration.
Les alternatives et les comparaisons
BMASS n’est pas la seule solution pour exécuter une IA locale sur un ordinateur. Il existe d’autres projets, tels que Llamafile, qui permettent de faire tourner un LLM depuis un fichier unique. De plus, il y a des mini-PC Linux qui peuvent être pilotés entièrement en morse, ce qui peut être amusant pour les amateurs de bidouilles minimalistes. Cependant, il est important de noter que ces solutions peuvent avoir des limitations et des risques unterschieds, et qu’il est important de les évaluer soigneusement avant de les utiliser.
Conclusion et perspectives
En conclusion, BMASS est une solution intéressante pour exécuter une IA locale sur un ordinateur, mais il est important de prendre en compte les limitations et les risques associés. Il est essentiel de déployer BMASS uniquement sur une vieille machine sans importance, et de ne pas l’utiliser pour des tâches critiques. De plus, il est important de suivre les instructions de configuration avec soin pour éviter les problèmes. Malgré ces limitations, BMASS est une solution innovante qui peut être utile pour les développeurs et les amateurs de technologie, et il est important de continuer à la suivre et à la améliorer pour en faire une solution plus robuste et plus sécurisée.
