Non serve sempre il modello più grande

Quanto deve essere grande un modello di intelligenza artificiale per svolgere efficacemente un determinato compito? Una campagna di test condotta da Eudata su applicazioni agentiche suggerisce che, per diverse attività tipiche dei workflow enterprise, la dimensione del modello non è necessariamente il principale fattore che determina la qualità del risultato.

La sperimentazione, articolata in due fasi, ha prima validato tre modelli open source disponibili attraverso l’API di Xference e successivamente li ha confrontati con GPT-5.6 di OpenAI utilizzando lo stesso testbook e la stessa metodologia di valutazione. I risultati mostrano livelli di performance comparabili su diverse capacità rilevanti per le applicazioni agentiche e, in alcune metriche, risultati superiori da parte dei modelli open source.

L’integrazione di Xference come provider ufficialmente disponibile in ConvyAI, la piattaforma di Eudata per l’orchestrazione dell’AI nei processi aziendali, porta questi modelli all’interno dello stesso ambiente in cui le aziende possono utilizzare e combinare differenti provider e tecnologie AI, scegliendo di volta in volta l’approccio più adatto al task, al dato e ai requisiti di controllo.

Il test Eudata su scenari di customer care con cinque modelli a confronto

La sperimentazione è stata condotta direttamente da Eudata sulla base di un’applicazione agentica e si è sviluppata in due fasi.

La prima ha riguardato la validazione di tre modelli open source esposti dalla piattaforma Xference: Gemma-12B, con circa 12 miliardi di parametri, Gemma-E4B, con circa 4 miliardi di parametri effettivi, e Qwen3.6, che dispone complessivamente di 35 miliardi di parametri ma ne attiva circa 3 miliardi per ogni parola generata.

I modelli sono stati sottoposti una serie di scenari di customer care in italiano e inglese, nei settori Telco e Utility, con contesti fino a circa 24.000 token. La valutazione è stata effettuata attraverso una metodologia di LLM-as-a-judge con valutazione incrociata: ciascun modello ha valutato le risposte degli altri modelli, senza valutare le proprie, riducendo così il rischio di auto-valutazione favorevole.

La seconda fase ha inserito nel medesimo testbook GPT-5.6 Terra e GPT-5.6 Luna, collegati direttamente alle API OpenAI. Per mantenere condizioni comparabili, Eudata ha utilizzato lo stesso testbook e la stessa metodologia di valutazione e ha disattivato la funzione di reasoning di GPT-5.6.

Il benchmark ha preso in esame alcune delle capacità più rilevanti per un’applicazione agentica: 1. retrieval e qualità delle risposte basate sui documenti (RAG) 2. riconoscimento dell’intento 3. sentiment analysis 4. comprensione di immagini e documenti 5. tool calling, 6. gestione del contesto e della memoria conversazionale e 6. recupero di informazioni all’interno di contesti molto estesi.

I risultati: parità sulle capacità operative, differenze sulle singole metriche

I risultati mostrano come modelli differenti possano raggiungere risultati simili, o eccellere su capacità specifiche.

Visioning e tool calling raggiungono il 100% per tutti e cinque i modelli testati. La capacità di leggere immagini e documenti, incluse immagini sintetiche e documenti fiscali reali, ha raggiunto un punteggio di 1,00 per Gemma-12B, Gemma-E4B, Qwen3.6, GPT-5.6 Terra e GPT-5.6 Luna. Lo stesso risultato è stato registrato per il tool calling attraverso MCP, utilizzato per interagire con strumenti esterni, come un sistema di fatturazione.

Anche le metriche legate alla comprensione e al recupero delle informazioni mostrano una sostanziale vicinanza tra i modelli. Per la qualità delle risposte RAG (faithfulness), i tre modelli Xference hanno ottenuto rispettivamente 0,97 Gemma-12B, 0,90 Gemma-E4B e 0,98 Qwen3.6, a fronte di 0,98 per GPT-5.6 Terra e 1,00 per GPT-5.6 Luna. Sul riconoscimento dell’intento, i modelli utilizzati sulla piattaforma Xference si collocano tra 0,87 e 0,92, mentre GPT-5.6 Terra e Luna raggiungono rispettivamente 0,91 e 0,95.

Il dato più netto a favore dei modelli open source emerge nella sentiment analysis, che rappresenta anche la metrica con i punteggi più bassi per l’intero gruppo. Gemma-12B raggiunge 0,61, Gemma-E4B 0,65 e Qwen3.6 0,67, mentre GPT-5.6 Terra registra 0,55 e GPT-5.6 Luna 0,53.

Un altro elemento distintivo riguarda la capacità di gestire informazioni insufficienti senza generare una risposta non supportata dal contesto. Gemma-12B ha registrato un’astensione perfetta nei test: quando le informazioni disponibili non erano sufficienti, il modello non ha prodotto una risposta inventata. Il comportamento era già emerso nella validazione V2 di Eudata ed è stato confermato nella seconda fase del confronto.

Le principali metriche a confronto

Nel benchmark Eudata, il valore 0,67 di GPT-5.6 Terra sul recupero in contesto 32K è attribuito a rifiuti di sicurezza registrati nei log. I casi classificati come mancati ritrovamenti erano associati alla presenza nel test della dicitura “codice segreto”, che ha attivato un rifiuto del modello, e non a un errore di recupero dell’informazione.

Non un modello per tutto, ma il modello giusto per ogni task

I risultati evidenziano quindi un elemento importante per l’adozione enterprise dell’AI: la scelta del modello può essere effettuata in funzione della specifica attività, anziché assumere che il modello più grande disponibile sia necessariamente quello più adatto a ogni fase di un workflow.

Il dato è particolarmente evidente nella gestione della velocità. Gemma-E4B, con circa 4 miliardi di parametri effettivi, ha raggiunto 266 token/s sui testi brevi, risultando il più rapido tra i tre modelli Xference su questo tipo di input. Qwen3.6 ha invece mantenuto un throughput compreso tra 188 e 195 token/s al variare della lunghezza del testo, mostrando una velocità più stabile. GPT-5.6 Terra, nello stesso confronto, è passato da 257 a 80 token/s all’aumentare della lunghezza del documento.

Il throughput non equivale direttamente al consumo energetico o al costo operativo, che non sono stati misurati nel benchmark Eudata. Tuttavia, la possibilità di utilizzare modelli che attivano una quantità inferiore di parametri per ciascuna generazione può avere implicazioni rilevanti in termini di efficienza computazionale, soprattutto quando un’applicazione deve elaborare grandi volumi di richieste.

È il caso, in particolare, di Qwen3.6, che dispone di 35 miliardi di parametri complessivi ma ne attiva circa 3 miliardi per ogni parola generata. In questo scenario, la scelta di un modello compatto o di un’architettura che utilizza solo una parte dei parametri disponibili può consentire di calibrare la capacità computazionale sul compito da svolgere, anziché utilizzare sistematicamente modelli di dimensioni maggiori.

“Questi test confermano per noi un principio importante: nell’AI enterprise non esiste necessariamente un unico modello che soddisfa l’esigenza. Abbiamo messo a confronto modelli diversi sugli stessi task e abbiamo visto che, su capacità fondamentali per le applicazioni agentiche, i risultati possono essere molto vicini, mentre su alcune metriche emergono differenze significative. - commenta Sandro Parisi, CEO di Eudata. - ConvyAI nasce proprio per consentire alle aziende di cogliere l’opportunità di usare l’AI per ridisegnare i loro processi in modo AI centrico, orchestrando tecnologie e modelli diversi, mantenendo la possibilità di scegliere quale tecnologia utilizzare in funzione dello specifico caso d’uso, ottimizzando il prezzo e rispettando le regole di compliance. L’integrazione di Xference amplia questa possibilità anche agli scenari di inferenza privata”.

Private AI inference: dove vengono elaborati i dati conta quanto il modello

La scelta del modello non è però l’unica variabile. Per un’applicazione enterprise entrano in gioco anche dove viene eseguita l’inferenza e quale livello di controllo l’organizzazione vuole mantenere sui propri dati.

Nel test condotto da Eudata, le API Xference sono state erogate direttamente dall’infrastruttura Xference presente in un data center nell’area di Bergamo. I dati del benchmark supportano quindi concretamente l’utilizzo dei modelli Xference attraverso un’infrastruttura di inferenza privata localizzata in Italia.

Xference è progettata proprio per questo scenario: fornire private AI inference attraverso modelli open source, con infrastruttura localizzata in Italia e possibilità di deployment anche on-premise. In questo modo, per i casi d’uso che lo richiedono, l’organizzazione può mantenere un maggiore controllo sull’ambiente in cui vengono elaborati prompt, dati e risposte.

La possibilità di eseguire l’inferenza in infrastrutture dedicate non implica che un modello open source debba sostituire quelli commerciali di grandi dimensioni. L’obiettivo è semmai quello di ampliare le opzioni disponibili: un modello può essere selezionato sulla base della complessità del task, della qualità richiesta, del volume di elaborazione, dei requisiti di sicurezza e del livello di controllo desiderato.

“Xference nasce con l’idea che la sovranità significhi avere la possibilità di scegliere come e dove eseguire l’AI. - afferma Andrea Pili, CEO e co-founder di Xference - I test condotti da Eudata ci danno un’evidenza concreta: su diverse capacità fondamentali per le applicazioni agentiche, modelli open source più compatti possono raggiungere performance comparabili a GPT-5.6 e, nel caso della sentiment analysis, ottenere risultati superiori nel benchmark. Quando il livello di qualità richiesto può essere raggiunto con un modello più compatto, entrano in gioco anche considerazioni di efficienza computazionale, infrastruttura e controllo dei dati”.

La “Model selection” come parte dell’architettura AI enterprise

L’integrazione di Xference in ConvyAI porta quindi la model selection dentro la progettazione stessa dei workflow agentici.

Un processo di customer care, per esempio, può comprendere attività differenti: riconoscimento dell’intento, recupero di informazioni da documenti, classificazione del sentiment, interrogazione di sistemi aziendali, gestione della memoria conversazionale e generazione della risposta finale. Non è necessariamente necessario che tutte queste attività vengano affidate allo stesso modello. ConvyAI consente di orchestrare differenti tecnologie e provider all’interno dello stesso ambiente, mentre l’integrazione con Xference aggiunge la possibilità di utilizzare modelli open source attraverso un’infrastruttura di private AI inference.

L’obiettivo, oggi, è quindi quello di costruire dei workflow nei quali task, modello e infrastruttura vengano scelti in modo coerente con il risultato richiesto e con il livello di controllo necessario, senza essere costretti a scegliere un unico modello a priori.

a sn: Sandro Parisi, CEO di Eudata; a dx Andrea Pili, CEO e co-founder Xference

# # #

Eudata

Eudata è la capogruppo di un ecosistema di aziende specializzate nella digital experience che esprime oltre 12 M€ di ricavi nel 2026. Diventata Società Benefit, sviluppa soluzioni basate su AI, omnicanalità e tecnologie cloud per trasformare il modo in cui le aziende interagiscono con i propri clienti. Eudata sviluppa già oltre 3 M€ di ARR in costante e rapida crescita, su oltre 150 clienti medium, large e top enterprise in Italia e Europa. ConvyAI è la piattaforma enterprise no-code di Eudata che consente di ridisegnare ed evolvere i processi in modo AI centrico, orchestrando modelli, agenti, processi e dati, integrando diversi provider all’interno di un unico ambiente governato e scalabile. La piattaforma supporta applicazioni di Customer Experience, Employee Experience, Automazione documentale e processi agentici.

https://www.eudata.com/

Xference
Xference è un inference provider italiano che offre un’infrastruttura di inferenza AI privata scalabile con l’utilizzo di Modelli LLM Opensource, performante ed energeticamente efficiente in grado di sfruttare la potenza dell’AI generativa pur garantendo i più alti standard di privacy e controllo dei propri dati. L’infrastruttura è interamente costruita e gestita in data center italiani certificati ed è disponibile anche in versione on-premise.

Fondata nel 2025 a Cagliari da Andrea Pili, Michele Fadda e Francesca Audino, nel primo anno raccoglie €700.000 euro da partner strategici e angel investor di alto profilo e avvia la produzione della propria infrastruttura. Ad aprile 2026 ha aperto ufficialmente la beta su invito ai primi 100 early adopter selezionati.
https://xference.ai

© 2026. All rights reserved.

Contattaci

Eudata S.r.l. SB
Via Lombardia, 2/A, 20068
Peschiera Borromeo (MI)
P.IVA 12421000154
Pec: eudata@legalmail.it

Privacy Policy
Cookie Policy
Whistleblowing Policy

Iscriviti alla nostra newsletter per rimanere aggiornato sul panorama AI