Per i leader IT, l’operatività dell’intelligenza artificiale generativa è ancora un obiettivo in divenire

La quantità di aziende che hanno già implementato l’intelligenza artificiale generativa o che la stanno esplorando in modo attivo sta crescendo in maniera esponenziale.

Se guardiamo al recente passato, nel novembre del 2022, il suo tasso di utilizzo era quasi, limitato com’era ai generatori di immagini o di testi, cioè gli unici strumenti allora disponibili. A maggio 2023, secondo un sondaggio IDC, la situazione era già molto diversa, con un utilizzo del 65%, mentre a settembre il livello era già salito al 71%, con un altro 22% che prevedeva di implementarla nei 12 mesi successivi.

Più di recente, la gen registrava come casi d’uso più comuni l’automazione dei processi IT, la sicurezza e il rilevamento delle minacce, la supply chain intelligente e l’automazione del servizio clienti e dei processi di rete, secondo un report pubblicato da IBM a gennaio [in inglese]. Inoltre, se a questi si aggiungono gli strumenti basati sul cloud come ChatGPT, la percentuale di aziende che utilizzano la gen AI in una forma o nell’altra raggiunge livelli quasi universali.

Senza contare le applicazioni incorporate in piattaforme come Office 365, Google Docs e Salesforce.

Tuttavia, le tipologie di implementazione più complesse, per esempio i modelli fine-tuned, i database vettoriali per fornire un contesto e informazioni aggiornate ai sistemi di IA, e le API per integrare la gen AI nei flussi di lavoro, sono frangenti dove potrebbero sorgere problemi. Costruire piattaforme di intelligenza artificiale di livello aziendale è come sparare a un bersaglio in movimento, e i progressi dell’IA si sviluppano a un ritmo molto più veloce del tempo necessario al loro adattamento.

“Per le imprese può risultare difficile rendere operativa l’IA generativa”, afferma Anand Rao, docente di intelligenza artificiale alla Carnegie Mellon University. “Ci sono diversi strumenti, modelli e database vettoriali che si evolvono, e nuovi documenti che vengono prodotto, e il tutto aumenta le difficoltà per un’azienda di tenere il passo. C’è bisogno di stabilità. Di sapere che cosa fare per i prossimi tre mesi; non cambiare tutto ogni due settimane”.

A causa della complessità di questa sfida, oltre ai costi e alle competenze necessarie, solo il 10% delle aziende è stato, effettivamente, in grado di mettere in produzione modelli di gen AI nell’arco dello scorso anno, secondo i risultati pubblicati da cnvrg.io di Intel a dicembre.

Ciò, tuttavia, non significa che le imprese debbano aspettare che le cose si sistemino. Per aiutarle in questo processo, esistono best practice in grado di essere applicate ora per iniziare a costruire piattaforme di IA generatica, le quali permetteranno loro di adattarsi rapidamente ai cambiamenti della tecnologia, per esempio nell’ambito della costruzione di infrastrutture di dati e API solide e moderne, nella creazione di un livello di astrazione dell’IAI tra le applicazioni aziendali e i modelli che utilizzano, e la creazione di policy di sicurezza e di gestione dei costi, oltre che di utilizzo, nonché di schemi etici per guidare le modalità di implementazione.

Dati e infrastruttura API

“I dati sono ancora importanti”, spiega Bradley Shimmin, chief analyst per le piattaforme IA, l’analisi e la gestione dei dati presso Omdia, società di consulenza e analisi indipendente con sede a Londra. Tuttavia, secondo un sondaggio IBM, la complessità dei dati è stata la seconda più grande barriera all’adozione dopo la mancanza di competenze, mentre la ricerca cnvrg.io sostiene che l’infrastruttura è l’ostacolo più grande per le aziende che cercano di produrre Large Language Model (LLM).

Un’altra battuta d’arresto è rappresentata dalle imprese che non riescono a stare al passo con le richieste a causa di capacità di gestione dei dati inadeguate. Un problema fondamentale, tuttavia, è che la maggior parte di esse non ha un piano, osserva Nayur Khan, partner di McKinsey & Company. “Cercano di fare qualcosa e vedono cosa funziona”. Ma con i modelli di gen IA che vengono forniti come servizio, per esempio sotto forma di API OpenAI, ci sono casi d’uso in cui si può passare direttamente all’implementazione sotto forma di servizio.

“In questo modo, non devo preoccuparmi della formazione”, dice Khan. “Anche se i modelli linguistici sono ottimi per il linguaggio ma non si può dire altrettanto per la conoscenza”. Che, invece, va trovata all’interno delle aziende stesse, dice.

Un’impresa impegnata nella vendita al dettaglio, per esempio, potrebbe avere una visione a 360 gradi dei clienti, che viene trasferita ii motori di analisi, all’apprendimento automatico e in altre forme di IA tradizionali per prevedere quale potrebbe essere la migliore azione successiva da mettere in atto. Dopodiché, l’IA tradizionale potrebbe essere utilizzata per personalizzare i messaggi indirizzati a determinati clienti. In questo modo, utilizzando i dati dell’azienda, un modello linguistico generico diventa un utile strumento di business. È questa la tipologia di applicazioni che tutti stanno cercano di creare.

“Lo vedo in tutti i settori”, prosegue Khan, “dall’high tech alle banche fino all’agricoltura e alle assicurazioni”. Sta costringendo le aziende a muoversi più velocemente sul fronte digitale, aggiunge, e a sistemare tutte le cose che avevano detto di voler fare ma che non hanno mai fatto.

E le aziende non solo devono mettere a punto tutte le basi da costruire per gli analytics e gli MLOps, ma devono anche costruire nuove strutture di dati e pipeline specifiche per la gen IA.

Quando un’azienda vuole perfezionare un modello o crearne uno nuovo in una particolare area tematica, è richiesta un’architettura dei dati, e la capacità di effettuare scelte critiche su quale modello o tipo di modello perseguire, e altro ancora. “La complessità aumenta rapidamente”, sottolinea Sheldon Monteiro, EVP di Publicis Sapient, una società di consulenza digitale globale.

Anche un progetto semplice, come l’aggiunta di una fonte di dati esterna a un modello gen AI esistente, richiede un database vettoriale, il modello corretto e una pipeline di livello industriale.

Ma tutto inizia con i dati, ed è un’area in cui molte aziende sono in ritardo. Senza una strategia unica e olistica, ogni reparto creerà le proprie soluzioni individuali.

“In questo modo, si finisce per commettere molti più errori e non imparare nulla di nuovo “, afferma Monteiro. “Quello che un CIO deve fare è adottare un approccio architetturale e investire in una piattaforma comune”.

Poi c’è il duro lavoro di raccolta e preparazione dei dati. I controlli di qualità e la convalida sono fondamentali per creare una base solida, tiene a precisare, in modo da non introdurre pregiudizi, che compromettono i clienti e il business.

Se un particolare set di dati esclude le transazioni di maggior valore perché sono tutte gestite manualmente, il modello risultante potrebbe potenzialmente avere un bias verso le linee di business più piccole e meno redditizie. Garbage in, garbage out si applica alla nuova era della gen IA come in tutti gli altri contesti tecnologici precedenti.

Per le aziende che hanno già investito nella loro infrastruttura per i dati, questi investimenti continueranno a ripagare in futuro, evidenzia Monteiro. “Le aziende che hanno investito nella data foundation hanno un enorme vantaggio su ciò che stanno facendo con l’intelligenza artificiale generativa”, aggiunge.

Tuttavia, queste basi di dati tradizionali, originariamente progettate per l’analisi avanzata e i casi d’uso dell’apprendimento automatico, arrivano solo fino a un certo punto.

“Se si vuole andare oltre le basi, è necessario comprendere alcune delle sottigliezze più profonde dell’IA generativa”, sottolinea Shimmin di Omdia. “Qual è la differenza tra i diversi modelli di incorporazione, cos’è il chunking, cos’è la sovrapposizione? Quali sono le diverse metodologie che si possono utilizzare per tokenizzare i dati nel modo più efficiente? Ci vuole una dimensionalità alta o bassa per risparmiare spazio in un database vettoriale? Gli strumenti MLOps che abbiamo non sono stati costruiti per svolgere questi compiti. È tutto molto complicato e si può perdere molto tempo e denaro se non si sa cosa si sta facendo”.

Ma i vendor di piattaforme MLOps si stanno facendo avanti, dice. “Aziende come Dataku, DataRobot e Databricks si sono riattrezzate per supportare LLMOps o GenAIOps. Tutti i piccoli pezzi stanno iniziando ad andare al loro posto”.

L’analisi del livello di astrazione

Lo scorso novembre, OpenAI, la piattaforma di riferimento per la gen AI aziendale, ha inaspettatamente licenziato il suo CEO, Sam Altman, scatenando una caccia al nuovo CEO, con i dipendenti dell’azienda che minacciavano di andarsene e Microsoft che si offriva di accogliere tutti. Durante quei giorni tumultuosi, molte aziende che utilizzano i modelli di OpenAI si sono improvvisamente rese conto di aver messo tutte le loro uova in un paniere instabile. 

“Abbiamo visto molte integrazioni di OpenAI”, racconta Dion Hinchcliffe, VP e principal analyst di Constellation Research. “Ma l’intero problema di gestione che si è verificato con OpenAI ha fatto sì che le persone mettessero in discussione il loro impegno eccessivo”.

Anche se un’azienda non fallisce, potrebbe diventare rapidamente obsoleta. All’inizio della scorsa estate, ChatGPT era praticamente l’unica opzione. Poi Facebook ha rilasciato Llama 2, gratuito per la maggior parte dei clienti aziendali, seguito da Claude 2 di Anthropic, che è uscito con offerta di 200.000 token, sufficienti agli utenti per tagliare e incollare l’equivalente di un libro di 600 pagine direttamente in un prompt, lasciando i 32.000 token di GPT-4 nella polvere. Per non essere da meno, tuttavia, Google ha annunciato a febbraio che il suo nuovo modello Gemini 1.5 può gestire fino a 10 milioni di token. Con questo, e con una maggiore velocità, efficienza e precisione tra video, audio e copia scritta, non c’erano praticamente limiti.

Il numero di modelli gratuiti e open-source continua a proliferare, così come i modelli specifici per ogni settore, preaddestrati, per esempio, per la finanza, la medicina o la scienza dei materiali.

“Sembra che ci siano nuovi annunci ogni settimana”, sottolinea Monteiro di Publicis Sapient.

È qui che entra in gioco il “model garden”. Le aziende che si sono date una disciplina nel modo di selezionare e gestire i loro modelli, e architettano i loro sistemi in modo che questi ultimi possano essere facilmente scambiati, saranno in grado di gestire la volatilità in questo spazio.

Ma un tale livello di astrazione deve fare di più che permettere all’azienda di aggiornare i modelli o di scegliere il migliore per ogni particolare caso d’uso.

Può essere utilizzato anche per l’osservabilità, la misurazione e i controlli di accesso basati sui ruoli, spiega Subha Tatavarti, CTO della società di consulenza e tecnologia Wipro Technologies.

Wipro, con 245.000 dipendenti, non ha altra scelta che adottare la gen AI, afferma, perché i suoi clienti si aspettano che lo faccia.

“Siamo fondamentalmente un’azienda tecnologica”, dice. “Dobbiamo farlo”.

Ampliare le prospettive

L’osservabilità consente a un’impresa di vedere dove vanno i dati, quali modelli e suggerimenti vengono utilizzati e quanto tempo ci vuole per ottenere le risposte. Può anche includere un meccanismo per modificare o offuscare i dati sensibili.

Una volta che un’azienda sa cosa sta accadendo con i suoi modelli, può implementare i controlli di misurazione – per esempio, i limiti sulla quantità di utilizzo di un particolare modello – per evitare picchi di costi inaspettati.

“Al momento, il modo in cui funziona la misurazione è il modello di consumo a gettone”, precisa Tatavarti. “E potrebbe diventare molto costoso”.

Inoltre, per le FAQ, le aziende possono memorizzare le risposte nella cache per risparmiare tempo e denaro. E per alcuni casi d’uso, potrebbe non essere necessario un LLM commerciale costoso e di alto livello, poiché un modello open source ospitato localmente potrebbe essere, di per sé, già più che sufficiente.

“Tutto questo ci affascina e il mio team ci sta lavorando”, aggiunge. “Per noi è imperativo che sia fatto”.

E quando si tratta di controlli di accesso, il principio fondamentale dovrebbe essere quello di non esporre mai le API native, ma di avere un livello intermedio che controlli le autorizzazioni e gestisca altre attività di sicurezza e di gestione.

Se, per esempio, una piattaforma HR utilizza la gen AI per rispondere alle domande sulla base di un database vettoriale di policy e altre informazioni, un dipendente dovrebbe essere in grado di fare domande sul proprio stipendio, dichiara Rajat Gupta, chief digital officer di Xebia, una società di consulenza IT. Ma non dovrebbe essere in grado di fare domande su quelle di altri dipendenti, a meno che non sia un manager o lavori nelle risorse umane.

Data la velocità con cui l’intelligenza artificiale viene adottata nelle aziende, in tutte le diverse unità e funzioni aziendali, sarebbe un incubo costruire questi controlli da zero per ogni caso d’uso.

“Il lavoro sarebbe enorme”, afferma. “Ci sarebbe il caos”.

Gupta concorda sul fatto che le aziende che devono costruire questo tipo di funzionalità dovrebbero farlo una volta sola e poi riutilizzarle. “Prendete tutto ciò di cui hanno bisogno in comune – sicurezza, monitoraggio, controlli di accesso – e costruitelo come parte di una piattaforma di livello aziendale”, dice.

Prendiamo, per esempio, un gateway AI, di cui l’open source MLflow AI Gateway è un esempio. Rilasciato lo scorso maggio, è già stato deprecato a favore del MLflow Deployments Server. Un altro strumento utilizzato dalla sua azienda è Arthur Shield di Arthur AI, un firewall per gli LLM. Filtra gli attacchi di prompt injection e varie altre tipologie dannose o pericolose.

E poi c’è Ragas, che aiuta a verificare la risposta di una gen AI rispetto alle informazioni reali in un database vettoriale, per migliorare la precisione e ridurre le hallucination.

“Ci sono molti progetti di questo tipo sia nell’open source che nello spazio commerciale”, osserva.

Anche le piattaforme IA di terze parti, le startup e i consulenti stanno accorrendo per colmare le lacune.

“Il modo in cui l’ecosistema si sta evolvendo è sorprendente”, continua Gupta. “Pensavamo che il ritmo sarebbe rallentato, ma non è così. Sta aumentando rapidamente”.

Quindi, per arrivare più velocemente sul mercato, Xebia sta intrecciando questi diversi progetti, dice, ma non aiuta il fatto che le aziende di IA continuino a proporre nuove cose, come gli agenti autonomi alimentati dall’intelligenza artificiale, per esempio.

“Se si utilizzano agenti autonomi, come si fa a misurare l’efficacia del progetto complessivo?”, chiede. “È una difficoltà”.

Oggi, Xebia blocca gli agenti, limitando la loro autonomia e consentendo loro di svolgere solo compiti molto limitati e precisi. “Questo è l’unico modo per farlo, al momento”, aggiunge. “Limitare le competenze a cui hanno accesso e avere una forma di controllo centrale in modo che non parlino tra loro. Lo controlliamo fino a quando non avremo una comprensione più evoluta e dei cicli di feedback. Si tratta di un’area piuttosto nuova, quindi è interessante vedere come si evolverà”.

La costruzione delle barriere

Secondo il sondaggio di cnvrg.io, la compliance e la privacy sono le principali preoccupazioni delle aziende che cercano di implementare l’AI gen, e vengono ancora prima dell’affidabilità, dei costi e della mancanza di competenze tecniche.

Allo stesso modo, nel sondaggio IBM, per le aziende che non implementano l’intelligenza artificiale generativa, la privacy dei dati è stata definita una barriera dal 57% degli intervistati, e la trasparenza dal 43%. Inoltre, l’85% del campione ha dichiarato che i consumatori sarebbero più propensi a scegliere aziende con pratiche di AI trasparenti ed etiche, ma meno della metà sta lavorando per ridurre i bias, tracciare la provenienza dei dati, lavorare per rendere l’IA più comprensibile o sviluppare policy etiche.

Per i tecnologi è facile concentrarsi sulle soluzioni tecniche. L’IA etica va oltre la tecnologia per includere le prospettive legali e di conformità, oltre che le questioni che riguardano i valori e l’identità aziendale. Si tratta quindi di un’area in cui i CIO o i Chief AI Officer possono intervenire e aiutare a guidare le aziende più grandi.

E va anche oltre. La creazione di infrastrutture per i dati compatibili con la gen AI, di controlli di sicurezza e di gestione e di guide etiche può essere il primo passo verso la piena operatività degli LLM.

L’intelligenza artificiale generativa richiederà ai CIO di ripensare la tecnologia, dice Matt Barrington, leader delle tecnologie emergenti di EY America. Prima della Gen AI, il software era deterministico, dice.

“Si progettava, si costruiva, si testava e si iterava finché non si comportava come previsto”, afferma. “Se non accadeva, probabilmente c’era un bug e si tornava indietro per risolverlo. Se accadeva, lo si metteva in produzione”. Tutti i grandi stack di calcolo, indipendentemente dal modello di software, erano deterministici. Ora, a parte l’informatica quantistica, la gen AI è il primo modello di software non deterministico ampiamente conosciuto, dice. “Il bug è, in realtà, una sua caratteristica e il fatto che possa generare qualcosa in autonomia è il suo principale punto di forza”.

Ciò non significa che il vecchio software debba essere buttato via. MLOps e Pytorch sono ancora importanti, dice, così come sapere quando realizzare un modello di incorporazione RAG, un DAG o andare in multi-modalità, così come preparare i dati per la gen AI.

“Tutti questi aspetti rimarranno importanti”, aggiunge. “Ma si assisterà all’emergere di un nuovo stack di piattaforme non deterministica che si affiancherà a quello tradizionale, con un’area completamente nuova di ingegneria dell’infrastruttura e di operation che emergeranno per supportare queste capacità”.

Questo cambierà il modo in cui le aziende operano a livello centrale, e muoversi in questa direzione per diventare un’impresa veramente alimentata dall’IA sarà un cambiamento rapido, dice. “Osservare questa evoluzione sarà molto interessante”, conclude.