LLM Manager
LLM-Manager è una suite Bash leggera e modulare, dotata di una doppia interfaccia JSON/interattiva, progettata per gestire motori di inferenza locali e remoti su Linux e WSL2.
Quando ho iniziato a sperimentare con i Large Language Model (LLM) per sviluppare un'applicazione RAG (Retrieval-Augmented Generation) On-Premise, mi sono scontrato con un ostacolo significativo: la frammentazione degli ambienti di esecuzione.
Gestire diversi motori di inferenza, come Ollama e Llama.cpp, significava dover ricordare opzioni della riga di comando, variabili d'ambiente e configurazioni differenti. Quando i miei prototipi frontend e backend sono stati pronti per i test, mi sono reso conto che stavo dedicando troppo tempo ad avviare, arrestare, caricare e scaricare manualmente i modelli.
Ho cercato soluzioni online. La maggior parte dei suggerimenti prevedeva script Python complessi, pesanti configurazioni Docker, workflow n8n oppure articolate dashboard web.
Non volevo tutta questa complessità. Cercavo qualcosa di leggero, che eseguisse i comandi esattamente come avrei fatto manualmente, ma senza dovermi occupare ogni volta dei dettagli operativi.
È per questo che ho sviluppato LLM-Manager: una suite di orchestrazione modulare scritta interamente in Bash puro.