Red Hat AI Inference Server
Red Hat® AI Inference Server ottimizza l'inferenza dei modelli nel cloud ibrido affinché siano distribuiti più velocemente e a un costo più vantaggioso.
Cos'è un server di inferenza?
Un server di inferenza è il software che permette alle applicazioni basate sull'intelligenza artificiale (IA) di comunicare con i modelli linguistici di grandi dimensioni (LLM) e generare una risposta basata sui dati. Questo processo viene definito inferenza ed è essenziale per la realizzazione degli obiettivi aziendali.
Per funzionare in modo efficace ed effettuare inferenze su larga scala, gli LLM necessitano di ampi spazi di archiviazione, memoria e infrastrutture, motivo per cui richiedono importanti investimenti economici.
Red Hat AI Inference Server, soluzione inclusa in Red Hat AI, ottimizza le capacità di inferenza al fine di abbattere i costi e ridimensionare l'infrastruttura.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Introduzione a Red Hat AI Inference Server
Come funziona Red Hat AI Inference Server?
Red Hat AI Inference Server assicura capacità di inferenza rapide, economiche e scalabili. Essendo open source, è in grado di supportare qualunque modello di IA generativa (IA gen), su qualunque acceleratore di IA e in qualunque ambiente cloud.
Basato su vLLM, il server di inferenza massimizza l'utilizzo della GPU e accorcia i tempi di risposta. In combinazione con le funzionalità di LLM Compressor, permette di ottenere processi di inferenza ancora più efficienti senza incidere sulle prestazioni. Grazie all'adattabilità multipiattaforma e a una community di collaboratori in rapida espansione, vLLM sta diventando il modello linguistico di grandi dimensioni virtuale più affermato nel campo dell'inferenza IA gen.
50% Alcuni clienti che hanno utilizzato LLM Compressor sono riusciti a ridurre i costi del 50% senza compromettere le prestazioni.*
*Saša Zelenović, "Unleash the full potential of LLMs: Optimize for performance with vLLM", il blog di Red Hat, 27 febbraio 2025.
Scegli i modelli più adatti a tuoi requisiti
Red Hat AI Inference Server supporta tutti i principali modelli open source e assicura la portabilità delle GPU. Gli utenti possono quindi adottare un qualunque modello di IA gen oppure sceglierne uno presente nella nostra raccolta di modelli open source di terze parti convalidati e ottimizzati.
Inoltre, Red Hat AI Inference Server è uno dei componenti di Red Hat AI ed è quindi certificato per l'utilizzo con tutti i prodotti Red Hat. È compatibile anche con piattaforme Linux e Kubernetes di terze parti. In questo caso i termini del supporto sono definiti nella policy sul supporto di terze parti di Red Hat.
Supporto per Red Hat AI
Essendo uno dei maggiori contributori commerciali del progetto vLLM, Red Hat ha una conoscenza approfondita di questa tecnologia. Grazie alle loro competenze specialistiche, i nostri consulenti aiutano le aziende a introdurre l'IA e a realizzare gli obiettivi prefissati.
Come acquistare la soluzione
Red Hat AI Inference Server è disponibile come prodotto standalone o come componente di Red Hat AI. La soluzione è inclusa in Red Hat Enterprise Linux® AI e in Red Hat OpenShift® AI.
Affidati ai nostri partner
Con le giuste tecnologie e il supporto degli esperti del settore, i nostri clienti possono sfruttare appieno i vantaggi dell'IA. Scopri tutti i partner tecnologici che collaborano con Red Hat per certificare la compatibilità dei loro prodotti con le nostre soluzioni.
Domande frequenti
Per poter utilizzare Red Hat AI Inference Server è necessario acquistare Red Hat Enterprise Linux AI o Red Hat OpenShift AI?
No, Red Hat AI Inference Server è disponibile anche come prodotto Red Hat standalone.
Per poter utilizzare Red Hat Enterprise Linux AI è necessario acquistare anche Red Hat AI Inference Server?
Red Hat AI Inference Server è già incluso in Red Hat Enterprise Linux AI e Red Hat OpenShift AI.
È possibile eseguire Red Hat AI Inference Server su Red Hat Enterprise Linux o Red Hat OpenShift?
Sì, la soluzione è compatibile anche con gli ambienti Linux di terze parti secondo i termini definiti nella policy sul supporto di terze parti.
Come viene stabilito il prezzo di Red Hat AI Inference Server?
La tariffa si calcola in base al numero di acceleratori.
