ayshakatun9365
Doczy: 12 Lis 2024
Posty: 1
|
 Wysany: Wto Lis 12, 2024 04:26 Temat postu: Dostp do NVIDIA NIM jest teraz bezpatny dla czonkw progr |
 |
|
Moliwo korzystania z prostych interfejsw API w celu zintegrowania wstpnie wytrenowanych modeli bazowych AI z produktami i dowiadczeniami znacznie zwikszya wykorzystanie przez deweloperw punktw kocowych LLM i struktur rozwoju aplikacji. NVIDIA NIM umoliwia deweloperom i zespoom inynierw szybkie wdraanie wasnych punktw kocowych modeli AI w celu bezpiecznego rozwoju przyspieszonych generatywnych aplikacji AI przy uyciu popularnych narzdzi i struktur programistycznych.
Deweloperzy powiedzieli, e chc atwiejszego dostpu do NIM w celach programistycznych, wic z radoci zapewniamy bezpatny dostp do mikrousug NIM do pobrania w celu rozwoju, testowania i bada dla ponad 5 mln czonkw NVIDIA Developer Program . Czonkowie programu otrzymuj kompleksowe zasoby, szkolenia, narzdzia i spoeczno ekspertw, ktrzy pomagaj tworzy przyspieszone aplikacje i rozwizania.
W tym pocie przedstawiamy krtki przegld techniczny mikrousug NIM, przedstawiamy niektre mikrousugi dostpne do pobrania i samodzielnego wdroenia oraz udostpniamy praktyczne zasoby uatwiajce rozpoczcie pracy.
Czym s mikrousugi NIM?
NIM dostarcza kontenery uywane do samodzielnego hostowania mikrousug akcelerowanych przez GPU dla wstpnie wytrenowanych i dostosowanych modeli AI w Lista kontrolna poziomu C chmurach, centrach danych i stacjach roboczych. Mog by wdraane za pomoc jednego polecenia i automatycznie udostpniaj standardowe interfejsy API w celu szybkiej integracji z aplikacjami, strukturami programistycznymi i przepywami pracy. Jednym z przykadw jest specyfikacja OpenAI API dla mikrousug NIM opartych na duym modelu jzykowym (LLM) .
Zoptymalizowane silniki wnioskowania zbudowane z NVIDIA TensorRT i NVIDIA TensorRT-LLM zapewniaj niskie opnienie odpowiedzi i wysok przepustowo. W czasie wykonywania mikrousugi NIM wybieraj optymalny silnik wnioskowania dla kadej kombinacji modelu podstawowego, GPU i systemu. Kontenery NIM zapewniaj rwnie standardowe kanay danych obserwowalnoci i wbudowan obsug automatycznego skalowania z Kubernetes na GPU NVIDIA. Aby uzyska wicej informacji o funkcjach i architekturze NIM, zapoznaj si z dokumentacj NVIDIA NIM for LLMs .
Pobierz mikrousugi NIM do dowolnego zastosowania
Podczas gdy kady moe zarejestrowa si w katalogu NVIDIA API i uzyska bezpatne kredyty umoliwiajce dostp do modeli za porednictwem hostowanych przez NVIDIA punktw kocowych NIM, czonkowie programu NVIDIA Developer otrzymuj bezpatny dostp do najnowszych mikrousug NIM do pobrania, w tym Llama 3.1 8B firmy Meta, kompaktowego Mistral 7B Instruct firmy Mistral AI i wielu innych.
Czonkowie programu deweloperskiego mog uywa mikrousug NIM na maksymalnie dwch wzach lub 16 procesorach graficznych. Gdy organizacje bd gotowe do uycia NIM w produkcji, mog zapisa si na bezpatn 90-dniow licencj NVIDIA AI Enterprise. Aby uzyska wicej informacji, zobacz FAQ .
Rozpocznij korzystanie z mikrousug NIM dostpnych do pobrania
W katalogu NVIDIA API wybierz mikrousug, a nastpnie kliknij opcj Buduj przy uyciu tego NIM , aby pobra mikrousug NIM i uzyska klucz API dla kontenera.
Jeli jeszcze nie jeste czonkiem programu, bdziesz mie moliwo doczenia – wystarczy poszuka opcji Developer Program. Aby uzyska wicej informacji, zobacz Getting Started i A Simple Guide to Deploying Generative AI with NVIDIA NIM .
Wideo 1. Jak wdroy NVIDIA NIM w 5 minut
Jeli chcesz zdoby praktyczne dowiadczenie z mikrousug NIM w zarzdzanej infrastrukturze z prostym wdroeniem, wyprbuj NVIDIA Brev Launchable, uywajc klucza NVIDIA API, aby szybko zapewni GPU, pobierz mikrousug Llama 3.1 NIM i wejd z ni w interakcj za porednictwem notatnika Jupyter lub zestawu punktw kocowych. Hostowane mikrousugi NIM s rwnie dostpne w Hugging Face . Oba hostowane rozwizania s wyceniane wedug stawki godzinowej.
_________________
Lista kontrolna poziomu C |
|
POMOC
Szukaj
Rejestracja
Uytkownicy
Grupy
Profil
Zaloguj si, by sprawdzi wiadomoci
Zaloguj
