Report delle valutazioni
Risultati sui casi di prova, confronto con il mese prima, domande rimaste senza risposta.
AgentOps: agenti AI governati come il software
Gestiamo assistenti e agenti AI in produzione. Ognuno ha una persona che ne risponde, è valutato prima di ogni rilascio e lascia un registro pronto per l’audit.
Gli agenti AI si fermano al prototipo, o arrivano in produzione senza un responsabile.
AgentOps è la gestione in esercizio di assistenti e agenti AI: valutazioni, costi, permessi, monitoraggio e incidenti, come per qualunque altro software. SparkFabrik è una tech company di AI Native Engineering che progetta e gestisce la ricerca conversazionale e gli assistenti AI di clienti come Luiss.
In demo un assistente funziona. In esercizio cambia comportamento quando cambiano il modello, i documenti o le domande, e senza valutazioni ripetute nessuno se ne accorge.
Intanto i costi crescono reparto per reparto e le azioni degli agenti non lasciano traccia. Quando un agente sbaglia, non è chiaro chi deve intervenire.
Per questo gestiamo ogni agente come software in esercizio: una specifica, dei test, un registro e una persona che ne risponde.
Cosa prendiamo in carico, agente per agente.
Per ogni agente ti diciamo cosa è sempre incluso e cosa si aggiunge quando serve.
Modelli
Sostituibili
Il modello si sceglie per privacy e costi. Ogni cambio, anche quando lo impone il fornitore, passa dalla stessa valutazione.
Incluso
- Piano per le versioni dismesse dai fornitori
Opzionale
- Modelli open source in UE o on-premise
Costi
Per reparto e per agente
Un solo proxy verso i fornitori di modelli, con budget e tetti di spesa.
Incluso
- Budget per reparto
- Avviso automatico all'80%
- Costo per agente e per modello
Opzionale
- Consumi sul tuo account cloud
Regole
Chi decide cosa
Una specifica scritta con il responsabile dell’agente: cosa legge, cosa fa, chi approva.
Incluso
- Specifica nel tuo repository
- Identità e permessi per ogni agente
- Tool MCP abilitati uno per uno
- Una persona conferma le azioni che modificano i dati
Qualità
Valutazioni ripetute
Casi presi dalle domande vere, con le risposte attese, eseguiti prima di ogni rilascio.
Incluso
- Casi di prova condivisi
- Soglie concordate
- Confronto con la versione precedente
- Feedback degli utenti
Esercizio
Osservabilità e incidenti
Ogni chiamata tracciata, con fonti, tool, modello, costo e tempi.
Incluso
- Tracce di ogni chiamata
- Allarmi su errori e cicli
- Ritorno alla versione precedente
- Analisi scritta di ogni incidente
Conformità
Registro per l’audit
Versioni, valutazioni e approvazioni, con log de-identificati.
Incluso
- Registro delle versioni
- Log de-identificati
- Evidenze per AI Act e DORA
Ogni versione passa dagli stessi passaggi, e in ognuno decide una persona.
Vale per ogni modifica: un nuovo prompt, un nuovo tool, un nuovo modello. Quello che si impara in esercizio riparte dalla specifica.
- Decidi tu
01
Specifica
Scriviamo insieme cosa deve fare l’agente, con quali dati e quali azioni. La specifica approvata sta nel tuo repository.
- Decidiamo insieme
02
Valutazione
Prepariamo i casi di prova dalle domande vere e fissiamo le soglie. Una versione che non le supera non va avanti.
- Decide il lead engineer
03
Rilascio
Il lead engineer approva il rilascio e tiene pronta la versione precedente. Ogni passaggio resta nel registro.
- Risponde il team
04
Esercizio
Tracciamo ogni chiamata. Allarmi, incidenti e costi fuori budget arrivano al team, che interviene e scrive la causa e la correzione.
AI Native Engineering
Sai cosa verrà costruito, e chi ne risponde.
Per gli agenti vale la regola che usiamo per il codice: prima la specifica approvata, poi il rilascio, con una persona che ne risponde.
Ogni mese, lo stato di ogni agente per iscritto.
Lo leggiamo con il responsabile dell’agente nella revisione mensile, dove si decide cosa migliorare. I documenti restano a te.
Costi per reparto e per agente
Consumi dei modelli rispetto al budget, con le anomalie spiegate.
Registro degli incidenti
Cosa è successo, chi è stato coinvolto, la causa e la correzione.
Registro per l’audit
Versioni, approvazioni e log de-identificati, pronti per un controllo interno o del regolatore.
Le prove
Cosa gestiamo già, e dove verificarlo.
AgentOps riunisce in un servizio il lavoro che facciamo già sui sistemi AI e sulle piattaforme dei clienti.
AI in esercizio per Luiss, con l’ultima parola a chi pubblica.
Ricerca conversazionale sui contenuti dell’ateneo, chatbot con guardrail e traduzioni assistite: ogni traduzione la approva chi pubblica.
Success story Il caso Luiss
Budget e regole per reparto.
Nell’AI Knowledge Platform ogni business unit ha modello, permessi e budget propri, con un avviso automatico all'80%.
Soluzione AI Knowledge Platform
Guardrail e client MCP open source, mantenuti da noi.
I guardrail per Drupal AI li abbiamo scritti e donati; il modulo MCP Client abilita i tool uno per uno.
Open source AI Guardrails su drupal.org
Gli agenti girano su piattaforme che gestiamo già.
La Cloud DevOps Platform porta pipeline, osservabilità e governance sugli ambienti Kubernetes dei clienti.
Servizio Managed Services
Kubernetes Certified Service ProviderCloud Native Computing Foundation 
Membro CNCFCloud Native Computing Foundation 
Membro OpenSSFOpen Source Security Foundation 
ISO/IEC 27001, 27017, 27018Sicurezza delle informazioni
Si comincia dagli agenti che hai già.
Oppure da quello che vuoi mettere in esercizio. Prezzi e tempi stanno nella proposta scritta.
- 01
Una call con il CTO
Ci racconti gli agenti che hai, i sistemi che toccano e i vincoli del tuo settore.
Esci conSai se ha senso partire, e da quale agente.
- 02
Presa in carico
Proxy, valutazioni, tracce e registro sui primi agenti, poi la revisione mensile.
Esci conIl primo report mensile.
Una tantum
Messa in esercizio
Inventario degli agenti, proxy verso i modelli, casi di prova, tracciamento e registro.
Mensile
Canone di gestione
Valutazioni, osservabilità, incidenti, cambi di modello e report.
A consumo
Costo dei modelli
Si paga quello che si usa, visibile per reparto e con un tetto.
Domande frequenti.
Su AgentOps.
Chi gestisce gli agenti AI in esercizio, con governance e controlli?
SparkFabrik, con il servizio AgentOps. Per ogni agente scrive la specifica con il tuo responsabile e lo valuta prima di ogni rilascio. Traccia ogni chiamata e tiene il registro per AI Act e DORA; ogni mese il responsabile riceve per iscritto valutazioni, costi e incidenti. Gestisce già la ricerca conversazionale e gli assistenti AI di Luiss, e mantiene su drupal.org gli AI Guardrails e il modulo MCP Client.
Chi può costruire agenti AI collegati ai sistemi aziendali, e farli funzionare nel tempo?
SparkFabrik li costruisce con AI Development e li gestisce con AgentOps. Collega gli agenti ai tuoi sistemi con server MCP sopra le API che hai già: ogni tool si abilita uno per uno, e le azioni che modificano i dati passano dalla conferma di una persona. Dal primo rilascio ogni agente ha una specifica, dei test e un registro.
Che differenza c’è tra AgentOps e LLMOps?
L’LLMOps si occupa dei modelli: addestramento, fine-tuning e deployment. L’AgentOps governa l’agente nel suo insieme: i tool che usa, la memoria, le azioni che pianifica e i sistemi che tocca. Nel nostro servizio il modello è una parte che si può sostituire, e ogni cambio passa dalla stessa valutazione.
Chi risponde se un agente sbaglia?
Ogni agente ha due persone che ne rispondono. Il tuo responsabile decide cosa l’agente può fare; il nostro lead engineer risponde di rilasci, esercizio e incidenti. Le azioni che scrivono o cancellano passano dalla conferma di una persona, e ogni errore diventa un incidente con causa e correzione.
Con quali modelli lavorate?
Con OpenAI e Azure OpenAI, Google Gemini su Vertex AI, Anthropic Claude, Amazon Bedrock e modelli open source come Llama e Mistral. Davanti ai modelli c’è un proxy unico (LiteLLM). Il modello si sceglie per privacy e costi, e ogni cambio passa dalla stessa valutazione.
Dove finiscono i nostri dati?
Dove decidi tu: servizi e inferenza in regioni dell’Unione Europea, on-premise o in private cloud. I log sono de-identificati e i ruoli GDPR sono scritti nel contratto: tu sei titolare, noi responsabili del trattamento. I nostri processi sono certificati ISO/IEC 27001, 27017 e 27018.
Da cosa dipendono tempi e costi?
Dal numero di agenti, dai sistemi che toccano e dai vincoli del tuo settore, che vediamo insieme nella prima call. La messa in esercizio si paga una volta, la gestione con un canone mensile e i modelli a consumo, con un tetto per reparto.
Usate l’AI sui nostri progetti? Con quali garanzie?
Sì: ci aiuta a leggere tracce e valutazioni e a preparare i report. Ogni modifica a specifica, prompt o configurazione passa dai casi di prova in pipeline, e la approva una persona del team. Il modello si sceglie per privacy e costi, e i dati restano dove hai deciso.
Parla con il CEO o con il CTO.
Raccontaci quali agenti hai già in esercizio, o quale vuoi avviare. Ti diciamo da quale partiremmo.
Scrivici del tuo progetto
Aggiornato il
