Modello di intelligenza artificiale Phi di Microsoft - piccolo, economico e non soffre di "allucinazioni". Questo è ciò che dicono del nuovo modello linguistico, di cui si prevede un grande futuro.
GPT è assolutamente fantastico, ma allo stesso tempo è terribilmente costoso e non può essere perfetto per tutti. Per questi e molti altri motivi Microsoft sta sperimentando modelli di intelligenza artificiale molto più piccoli. Si dice che Phi-3-mini faccia addirittura vergognare il lavoro degli ingegneri OpenAI.
Interessante anche: Transistor del futuro: ci aspetta una nuova era di chip
ChatGPT non è una panacea
ChatGPT è un'invenzione finanziata, curata e migliorata Microsoft. In realtà, non appartiene Microsoft, e la società OpenAI, che Microsoft non possiede (è il principale investitore, anche se non il più grande). Il modello linguistico GPT ha dato Microsoft un vantaggio enorme rispetto al resto delle grandi aziende tecnologiche che ora si affrettano a recuperare il ritardo. Tuttavia, esistono numerosi problemi con GPT, molti dei quali non possono ancora essere risolti.
Prima di tutto, questo è un modello linguistico ad alta intensità di risorse. Orientato al web Microsoft Copilot o ChatGPT di OpenAI generano costi operativi molto elevati Microsoft. Questa è una caratteristica non solo di GPT, ma anche di tutti i principali modelli linguistici. Inoltre, GPT, come i suoi concorrenti, è soggetto ad "allucinazioni", ovvero può generare risposte a domande che contengono informazioni false o fuorvianti. Più dati un modello di questo tipo assorbe, più tende a generare contenuti simili. Pertanto, allucinazioni e false dichiarazioni non sono un mito risucchiato da un dito digitale. Gli utenti spesso notano che i modelli linguistici di grandi dimensioni spesso commettono errori, forniscono dati imprecisi e operano su fatti inesistenti.
Entrambi i problemi sono molto seri, motivo per cui OpenAI, Microsoft, Meta, Google e altri stanno lavorando allo sviluppo non solo della tecnologia Large Language Model, ma anche dello Small Language Model, che in pratica può produrre risultati molto migliori.
L'assistente contabile digitale non ha bisogno di sapere molto di fisica quantistica. Può essere molto più piccolo e meno complesso (e quindi più economico), e addestrandosi solo sui dati necessari al suo scopo, dovrebbe teoricamente avere meno allucinazioni. Anche se questo è più facile a dirsi che a farsi. La tecnologia GenAI è ancora un’impresa IT selvaggia. E sebbene i lavori procedano a un ritmo senza precedenti, è ancora difficile realizzare progressi concreti su questioni fondamentali. Ma l'azienda Microsoft ha recentemente annunciato una svolta del genere. Stiamo parlando di un modello linguistico piccolo Microsoft Fi.
Interessante anche: Come Taiwan, Cina e Stati Uniti stanno combattendo per il dominio tecnologico: la grande guerra dei chip
Di cosa si sa Microsoft Phi
Innanzitutto va notato che l'esperimento è stato condotto senza la partecipazione della società OpenAI. Cioè, è lo sviluppo degli ingegneri Microsoft.
Modelli Microsoft Phi è una serie di piccoli modelli linguistici (SLM) che ottengono risultati eccezionali in una varietà di test. Il primo modello, Phi-1, aveva 1,3 miliardi di parametri e ha ottenuto i migliori risultati di codifica Python tra gli SLM esistenti.
Gli sviluppatori si sono poi concentrati sulla comprensione e sul pensiero linguistico, creando il modello Phi-1.5, anch'esso dotato di 1,3 miliardi di parametri e che mostrava prestazioni paragonabili a modelli con parametri cinque volte superiori.
Phi-2 è un modello da 2,7 miliardi di parametri che dimostra eccezionali capacità di ragionamento e di comprensione del linguaggio, con prestazioni al livello dei migliori modelli di base con 13 miliardi di parametri. Phi-2 si distingue dagli altri modelli per le sue innovazioni nel ridimensionamento dei modelli e nella formazione sulla cura dei dati.
È disponibile nel catalogo dei modelli di Azure AI Studio, che facilita la ricerca e lo sviluppo nel campo dei modelli linguistici. Phi-2 è stato lanciato nel dicembre 2023. Gli sviluppatori assicurano che funziona bene come Mistral o Llama 2 di Meta. E Phi-3 funziona ancora meglio della versione precedente.
Tuttavia, il modello Phi-3 appena annunciato è completamente nuovo in termini di qualità. Almeno questo è quello che puoi giudicare dalle informazioni fornite Microsoft. Secondo l'azienda, secondo gli indicatori di tutti i benchmark conosciuti, il Phi-3 funziona meglio di qualsiasi altro modello di dimensioni simili, compresa l'analisi del linguaggio, il lavoro di programmazione o il lavoro matematico.
Il Phi-3-mini, la versione più piccola di questo modello, è appena diventato disponibile per tutti gli interessati. Cioè, è disponibile dal 23 aprile. Phi-3-mini ha 3,8 miliardi di parametri e, secondo le misurazioni Microsoft, due volte più efficiente di qualsiasi altro modello della stessa dimensione. Può essere trovato nel catalogo dei modelli AI del servizio cloud Microsoft Azure, la piattaforma di modelli di machine learning Hugging Face e Ollama, un framework per l'esecuzione di modelli su un computer locale.
Come sostiene Microsoft, Phi-3-mini non richiede chip potenti Nvidia. Il modello può funzionare su normali chip di computer. Oppure si adatta anche a un telefono non connesso a Internet.
Meno potenza significa anche che i modelli non saranno altrettanto accurati. Phi-3 non sarà adatto a medici o commercialisti, ma aiuterà nei compiti più semplici. Ad esempio, per indirizzare la pubblicità o riassumere recensioni su Internet.
Poiché i modelli più piccoli richiedono meno elaborazione, saranno più economici da utilizzare per le aziende private. Cioè, dentro Microsoft ci saranno più clienti che vorrebbero coinvolgere l’intelligenza artificiale nel loro lavoro, ma lo considerano troppo costoso. Tuttavia non è ancora chiaro quanto costeranno.
Non è ancora noto quando appariranno i modelli piccoli e medi. Ma quest'ultimo sarà più potente e più costoso. Sebbene sia già noto che Phi-3-small avrà 7 miliardi di parametri e Phi-3-medium avrà fino a 14 miliardi di parametri.
Leggi anche:
- I microchip al grafene renderanno i telefoni più veloci e facili
- A proposito di computer quantistici in parole semplici
Come utilizzare Phi-3-mini?
GPT-4 Turbo richiede potenti chip AI, che sono ancora molto costosi. Il modello piccolo discorso Phi-3 può funzionare offline, senza cloud, anche con un chip su un telefono cellulare.
Phi-3 non è un prodotto per gli utenti finali, ma una tecnologia che gli sviluppatori potranno utilizzare e implementare nelle loro applicazioni, sia quelle basate su cloud, cioè remote, sia quelle che funzionano localmente e offline. Si prevede che funzionerà perfettamente con i dispositivi e i loro componenti, come telefoni cellulari, automobili e i relativi sistemi di infotainment o persino sensori IoT. In alcuni scenari, questa tecnologia può essere preziosa.
Microsoft fornisce anche un esempio concreto per non dover affaticare la nostra immaginazione. Immagina un agricoltore che ispeziona i suoi raccolti e vede segni di malattia su foglie, steli e rami. Essendo lontano dalle antenne delle telecomunicazioni, dovrà solo tirare fuori il telefono, scattare una foto del danno, inserirla in un'applicazione che utilizza la tecnologia Phi-3 - e il modello analizzerà rapidamente e offline la foto e darà consigli su come combattere esattamente questa malattia.
Come spiega Microsoft, la chiave del successo di GPT è stata quella di attingere a enormi quantità di dati per la formazione. Con set di dati così grandi, un’elevata qualità dei dati è fuori questione. Nel frattempo, durante l’addestramento del modello Phi, è stato utilizzato l’approccio OpenAI esattamente opposto. Invece di riempire il modello di informazioni, l’attenzione si è concentrata sull’apprendimento incrementale e approfondito.
Invece di utilizzare dati Internet grezzi, i ricercatori Microsoft ha creato il set di dati TinyStories, generando milioni di storie di "bambini" in miniatura. Queste storie sono state utilizzate per addestrare modelli linguistici molto piccoli. I ricercatori sono poi andati oltre creando il set di dati CodeTextbook, che utilizzava dati accuratamente selezionati e disponibili al pubblico, filtrati in base al valore educativo e alla qualità dei contenuti. Questi dati sono stati poi filtrati più volte e reinseriti in un modello linguistico di grandi dimensioni (LLM) per un'ulteriore sintesi.
Tutto ciò ha permesso di creare una serie di dati sufficienti per addestrare un SLM più capace. Inoltre, nello sviluppo del modello Phi-3 è stato utilizzato un approccio multilivello alla gestione e mitigazione del rischio, comprendente valutazione, test e aggiustamenti manuali. Di conseguenza, come sostiene Microsoft, gli sviluppatori che utilizzano la famiglia di modelli Phi-3 possono sfruttare il set di strumenti disponibile in Azure AI per creare applicazioni più sicure e affidabili.
Leggi anche: Il teletrasporto da un punto di vista scientifico e il suo futuro
Microsoft Phi sostituirà i modelli di tipo ChatGPT?
Affatto. I modelli Small Language Model (SLM), anche se addestrati su dati di alta qualità, hanno i loro limiti e non sono progettati per il deep learning. I modelli linguistici di grandi dimensioni (LLM) superano gli SLM nel ragionamento complesso a causa delle loro dimensioni e della potenza di calcolo. Gli LLM sono, e continueranno ad essere, particolarmente utili in campi come la scoperta di farmaci, dove è necessario effettuare ricerche in vaste raccolte di articoli scientifici e analizzare modelli complessi. D'altra parte, SLM può essere utilizzato per attività più semplici, come riassumere i punti principali di un lungo documento di testo, creare contenuti o alimentare chatbot del servizio clienti.
Microsoft, ha affermato, utilizza già set di modelli ibridi internamente, dove LLM assume il comando, indirizzando alcune query che richiedono meno potenza di calcolo a SLM mentre gestisce da solo altre query più complesse. Phi è posizionato per l'elaborazione su dispositivi, senza utilizzare il cloud. Tuttavia, ci sarà ancora un divario tra i modelli linguistici di piccole dimensioni e il livello di intelligenza che può essere ottenuto con modelli di grandi dimensioni nel cloud. È improbabile che questo divario, grazie al continuo sviluppo del LLM, scompaia presto.
Phi-3 deve ancora essere verificato da soggetti esterni indipendenti. Microsoft a volte si parla di efficienza 25 volte maggiore o di efficienza energetica in casi estremi, rispetto alla concorrenza, il che sembra davvero favoloso. Anche se, d’altronde, non si può dimenticare che questi anni sono passati Microsoft ci ha un po' svezzato dal fatto che è un chiaro leader nelle innovazioni IT, e forse è per questo che non ci crediamo davvero. Programmi basati sull'intelligenza artificiale che rispondono istantaneamente e funzionano offline invece di generare? Questo sarebbe un degno culmine della rivoluzione attuale. Sfortunatamente, c’è un problema chiave.
Leggi anche: Tutto sul chip Neuralink Telepathy: cos'è e come funziona
Phi-3 da Microsoft capisce solo l'inglese
Phi-3 non ha divorato in massa i petabyte lanciatigli addosso. Un addestramento attento e scrupoloso del modello comporta un problema minore. Phi-3 è stato addestrato con informazioni in inglese e non ha ancora idea di nessun'altra lingua. Non solo ucraino, ma anche tedesco, spagnolo, francese o cinese. Naturalmente, ciò riduce notevolmente la sua attrattiva per la maggior parte degli utenti in tutto il mondo.
Ma in Microsoft assicurato che il lavoro sul suo sviluppo e miglioramento è in corso. Anche se non dovresti illuderti dal fatto che il mercato ucraino sia una priorità per una qualsiasi delle grandi aziende. Pertanto, dovremo aspettare molto tempo per il supporto della lingua ucraina. Ma questo fatto non ha mai fermato gli appassionati e chi vuole stare al passo con il progresso.
Leggi anche: