Ekstraliga2012

[ayshakatun9365]

Możliwość korzystania z prostych interfejsów API w celu zintegrowania wstępnie wytrenowanych modeli bazowych AI z produktami i doświadczeniami znacznie zwiększyła wykorzystanie przez deweloperów punktów końcowych LLM i struktur rozwoju aplikacji. NVIDIA NIM umożliwia deweloperom i zespołom inżynierów szybkie wdrażanie własnych punktów końcowych modeli AI w celu bezpiecznego rozwoju przyspieszonych generatywnych aplikacji AI przy użyciu popularnych narzędzi i struktur programistycznych.

Deweloperzy powiedzieli, że chcą łatwiejszego dostępu do NIM w celach programistycznych, więc z radością zapewniamy bezpłatny dostęp do mikrousług NIM do pobrania w celu rozwoju, testowania i badań dla ponad 5 mln członków NVIDIA Developer Program . Członkowie programu otrzymują kompleksowe zasoby, szkolenia, narzędzia i społeczność ekspertów, którzy pomagają tworzyć przyspieszone aplikacje i rozwiązania.

W tym poście przedstawiamy krótki przegląd techniczny mikrousług NIM, przedstawiamy niektóre mikrousługi dostępne do pobrania i samodzielnego wdrożenia oraz udostępniamy praktyczne zasoby ułatwiające rozpoczęcie pracy.

Czym są mikrousługi NIM?
NIM dostarcza kontenery używane do samodzielnego hostowania mikrousług akcelerowanych przez GPU dla wstępnie wytrenowanych i dostosowanych modeli AI w Lista kontrolna poziomu C chmurach, centrach danych i stacjach roboczych. Mogą być wdrażane za pomocą jednego polecenia i automatycznie udostępniają standardowe interfejsy API w celu szybkiej integracji z aplikacjami, strukturami programistycznymi i przepływami pracy. Jednym z przykładów jest specyfikacja OpenAI API dla mikrousług NIM opartych na dużym modelu językowym (LLM) .

Zoptymalizowane silniki wnioskowania zbudowane z NVIDIA TensorRT i NVIDIA TensorRT-LLM zapewniają niskie opóźnienie odpowiedzi i wysoką przepustowość. W czasie wykonywania mikrousługi NIM wybierają optymalny silnik wnioskowania dla każdej kombinacji modelu podstawowego, GPU i systemu. Kontenery NIM zapewniają również standardowe kanały danych obserwowalności i wbudowaną obsługę automatycznego skalowania z Kubernetes na GPU NVIDIA. Aby uzyskać więcej informacji o funkcjach i architekturze NIM, zapoznaj się z dokumentacją NVIDIA NIM for LLMs .

Pobierz mikrousługi NIM do dowolnego zastosowania
Podczas gdy każdy może zarejestrować się w katalogu NVIDIA API i uzyskać bezpłatne kredyty umożliwiające dostęp do modeli za pośrednictwem hostowanych przez NVIDIA punktów końcowych NIM, członkowie programu NVIDIA Developer otrzymują bezpłatny dostęp do najnowszych mikrousług NIM do pobrania, w tym Llama 3.1 8B firmy Meta, kompaktowego Mistral 7B Instruct firmy Mistral AI i wielu innych.



Członkowie programu deweloperskiego mogą używać mikrousług NIM na maksymalnie dwóch węzłach lub 16 procesorach graficznych. Gdy organizacje będą gotowe do użycia NIM w produkcji, mogą zapisać się na bezpłatną 90-dniową licencję NVIDIA AI Enterprise. Aby uzyskać więcej informacji, zobacz FAQ .

Rozpocznij korzystanie z mikrousług NIM dostępnych do pobrania
W katalogu NVIDIA API wybierz mikrousługę, a następnie kliknij opcję Buduj przy użyciu tego NIM , aby pobrać mikrousługę NIM i uzyskać klucz API dla kontenera.

Jeśli jeszcze nie jesteś członkiem programu, będziesz mieć możliwość dołączenia – wystarczy poszukać opcji Developer Program. Aby uzyskać więcej informacji, zobacz Getting Started i A Simple Guide to Deploying Generative AI with NVIDIA NIM .


Wideo 1. Jak wdrożyć NVIDIA NIM w 5 minut
Jeśli chcesz zdobyć praktyczne doświadczenie z mikrousługą NIM w zarządzanej infrastrukturze z prostym wdrożeniem, wypróbuj NVIDIA Brev Launchable, używając klucza NVIDIA API, aby szybko zapewnić GPU, pobierz mikrousługę Llama 3.1 NIM i wejdź z nią w interakcję za pośrednictwem notatnika Jupyter lub zestawu punktów końcowych. Hostowane mikrousługi NIM są również dostępne w Hugging Face . Oba hostowane rozwiązania są wyceniane według stawki godzinowej.
_________________
Lista kontrolna poziomu C

[Reklama]