Zaten kullandığınız araçları bağlayın
Yapay zeka sağlayıcıları ve uygulamalar için organizasyon kimlik bilgileri. Her ActionFlow ve ajan bunları yeniden kullanır.
NVIDIA NIM
Marka bildirimi
Buradaki üçüncü taraf adları, logoları ve markaları ilgili sahiplerinin ticari markalarıdır. Kullanım yalnızca tanımlama ve uyumluluk içindir. ActionFlows ile onay, sponsorluk veya bağlantı anlamına gelmez.
NIM – NVIDIA’nın optimize inference mikroservisleri
NVIDIA NIM, ActionFlows ile entegre çalışır. Bu hizmet, AI modellerini kurumsal sınıf performans, güvenilirlik ve ölçeklenebilirlikle sunan NVIDIA’nın optimize inference mikroservisleridir. NVIDIA kimlik bilgilerinizle tek bir bağlantı yapmanız yeterlidir. Ardından Llama, Mistral, DeepSeek, NVIDIA’nın kendi modellerini ve uzmanlık sürümlerini herhangi bir akışa yerel adımlar olarak ekleyebilirsiniz.
Kimlik doğrulama, GPU hızlandırma, çoklu bölge dağıtımı ve kurumsal sınıf SLO’lar – hepsi entegrasyon katmanında halledilir. Performansın ve güvenilirliğin pazarlık konusu olmadığı NVIDIA altyapısında üretim AI’ı çalıştıran geliştiriciler için bu, optimize serving’e yapısal olarak doğrudan giden yoldur.
Kaynağında NVIDIA optimize inference
NIM, modelleri TensorRT-LLM optimizasyonu, NVIDIA’ya özgü GPU hızlandırma ve doğrudan donanım sağlayıcısı tarafından ayarlanmış inference teknikleriyle sunar. Sonuç, rakip inference platformlarının eşleyebileceği ama nadiren aşabileceği bir performanstır. Çünkü NVIDIA, NVIDIA donanımını üçüncü tarafların yapabileceğinden daha iyi optimize eder.
Tepe throughput’un ve gecikme tutarlılığının ürün ekonomisini yönlendirdiği üretim AI’ı çalıştıran geliştiriciler için bu, optimizasyonların tersine mühendislik değil, birinci el olduğu inference katmanıdır.
Modaliteler genelinde kurumsal model kataloğu
- Üretim throughput’u için TensorRT-LLM optimizasyonlu Llama ailesi
- Nemotron ve uzmanlık sürümleri dahil NVIDIA tarafından geliştirilen modeller
- Optimize altyapıda Mistral, DeepSeek ve Qwen açık kaynak aileleri
- Uzmanlık modelleri: tıbbi görüntüleme, ilaç keşfi, bilimsel hesaplama
- Kurumsal doküman iş akışları için görsel dil ve multimodal modeller
Bulut, on premises veya hibrit dağıtım
NIM, NVIDIA’nın bulut altyapısı, büyük hyperscaler’lardaki müşteri bulut hesapları, on premises NVIDIA donanımı ve hibrit konfigürasyonlar genelinde dağıtılabilir. Mevcut GPU altyapı yatırımları veya yalnızca bulut dağıtımını eleyen veri egemenliği gereklilikleri olan kurumlar için bu, eşleşecek dağıtım esnekliğine sahip inference katmanıdır.
Düzenlemeye tabi sektörler, savunma yüklenicileri ve on premises zorunlulukları olan kurumlar için bu, optimize AI inference’ına yapısal olarak doğru giden yoldur.
Neden NVIDIA NIM
Üretim AI’ını anlamlı ölçekte çalıştıran kurumlar için yapısal soru, inference stack’ini NVIDIA donanımı için üçüncü tarafların yapabileceğinden daha iyi kimin optimize ettiğidir. Cevap NVIDIA’dır.
NIM, optimizasyonların birinci el olduğu inference katmanıdır. Tepe performans, kurumsal sınıf güvenilirlik ve bulut, on premises ile hibrit konfigürasyonlar genelinde dağıtım esnekliği için bu, yapısal olarak doğrudan giden yoldur.
Birinci el optimizasyon. Kurumsal dağıtım.
Llama Family + NIM
Meta’nın açık ağırlıklı amiral gemisi, TensorRT-LLM optimizasyonuyla. NVIDIA ayarlı serving altyapısında tepe throughput.
NVIDIA Nemotron
NVIDIA’nın kurumsal akıl yürütme için optimize edilmiş kendi temel modelleri. Birinci el model geliştirme, birinci el serving optimizasyonuyla buluşur.
Specialty Models
Tıbbi görüntüleme, ilaç keşfi, bilimsel hesaplama modelleri. NVIDIA’nın kurumsal altyapısı altında alana özgü AI.
Hybrid Deployment
Bulut, on premises ve hibrit dağıtım seçenekleri. Düzenlemeye tabi sektörlerin gerektirdiği yere çıkan inference katmanı.
Sık sorulan sorular
Bülten
Ürün güncellemelerini alın
Yeni node'lar, agent'lar ve ürün notları. Yalnızca açmaya değer bir şey varken e-posta göndeririz.