NVIDIA NeMo Framework

Műszaki adatok

• Termék neve: NVIDIA NeMo Framework
• Érintett platformok: Windows, Linux, macOS
• Érintett verziók: Minden 24 előtti verzió
• Biztonsági sebezhetőség: CVE-2025-23360
• Kockázatértékelési alappontszám: 7.1 (CVSS v3.1)

A termék használati útmutatója

Biztonsági frissítés telepítése:
A rendszer védelme érdekében kövesse az alábbi lépéseket:

1. Töltse le a legújabb kiadást a GitHub NeMo-Framework-Launcher Releases oldaláról.
2. További információkért keresse fel az NVIDIA Product Security oldalt.

Biztonsági frissítés részletei:
A biztonsági frissítés az NVIDIA NeMo-keretrendszer egyik biztonsági rését szünteti meg, amely kódfuttatáshoz és adatátvitelhez vezethet.amptévedés.

Szoftver frissítés:
Ha korábbi ági kiadást használ, a biztonsági probléma megoldása érdekében ajánlatos frissíteni a legújabb fióki kiadásra.

Felettview

Az NVIDIA NeMo Framework egy méretezhető és felhőben natív generatív mesterséges intelligencia keretrendszer, amely azon kutatók és fejlesztők számára készült. Nagy nyelvi modellek, Multimodális és Beszéd AI (például Automatikus beszédfelismerés és Szövegfelolvasó). Lehetővé teszi a felhasználók számára, hogy hatékonyan hozzanak létre, testreszabjanak és telepítsenek új generatív AI modelleket a meglévő kód és az előre betanított modellellenőrző pontok felhasználásával.

Beállítási utasítások: Telepítse a NeMo Framework-et

Nagy nyelvi modellek és multimodális modellek
A NeMo Framework teljes körű támogatást nyújt a nagy nyelvi modellek (LLM) és a multimodális modellek (MM) fejlesztéséhez. Rugalmasságot biztosít a helyszíni, adatközpontban vagy az Ön által előnyben részesített felhőszolgáltatónál történő használathoz. Támogatja a végrehajtást SLURM vagy Kubernetes-kompatibilis környezetekben is.

Adatkezelés
NeMo kurátor [1] egy Python-könyvtár, amely modulokat tartalmaz adatbányászathoz és szintetikus adatgeneráláshoz. Skálázhatóak és GPU-kra optimalizáltak, így ideálisak természetes nyelvi adatok kurálására az LLM-ek betanításához vagy finomhangolásához. A NeMo Curator segítségével hatékonyan kinyerhet kiváló minőségű szöveget kiterjedt nyersanyagból web adatforrások.

Képzés és testreszabás

A NeMo Framework eszközöket biztosít a hatékony képzéshez és testreszabáshoz LLM-ek és multimodális modellek. Tartalmazza az alapértelmezett konfigurációkat a számítási fürt beállításához, az adatok letöltéséhez és a modell hiperparamétereihez, amelyek beállíthatók az új adatkészletekre és modellekre való képzéshez. Az előképzésen kívül a NeMo támogatja a felügyelt finomhangolást (SFT) és a Parameter Efficient Fine-Tuning (PEFT) technikákat is, mint például a LoRA, a Ptuning stb.

Két lehetőség áll rendelkezésre a képzés elindításához a NeMo-ban – a NeMo 2.0 API felülettel vagy a NeMo Run segítségével.

• NeMo Run segítségével (ajánlott): A NeMo Run interfészt biztosít a kísérletek konfigurációjának, végrehajtásának és kezelésének egyszerűsítéséhez a különböző számítási környezetekben. Ez magában foglalja a feladatok elindítását a munkaállomáson helyileg vagy nagy fürtökön – akár SLURM-kompatibilis, akár Kubernetes felhőkörnyezetben.
  • Előképzés és PEFT gyorsindítás a NeMo Run segítségével
• A NeMo 2.0 API használata: Ez a módszer jól működik egy egyszerű beállításnál, amely kis modelleket foglal magában, vagy ha saját egyéni adatbetöltőt szeretne írni, betanítási ciklusokat szeretne írni vagy modellrétegeket szeretne változtatni. Nagyobb rugalmasságot és irányítást biztosít a konfigurációk felett, valamint megkönnyíti a konfigurációk programozott bővítését és testreszabását.
  • TraIning Quickstart with NeMo 2.0 API
  • Migráció a NeMo 1.0-ról a NeMo 2.0 API-ra

Igazítás

• NeMo-Aligner [1] egy méretezhető eszközkészlet a hatékony modelligazításhoz. Az eszközkészlet támogatja a legmodernebb modell-igazítási algoritmusokat, például a SteerLM-et, a DPO-t, az RLHF-t és még sok mást. Ezek az algoritmusok lehetővé teszik a felhasználók számára, hogy biztonságosabbá, ártalmatlanabbá és hasznosabbá tegyék a nyelvi modelleket.
• Az összes NeMo-Aligner ellenőrzőpont keresztkompatibilis a NeMo ökoszisztémával, lehetővé téve a további testreszabást és következtetések telepítését.

Az RLHF mindhárom fázisának lépésről lépésre történő munkafolyamata egy kis GPT-2B modellen:

• SFT képzés
• Jutalommodell képzés
• PPO képzés

Ezen túlmenően bemutatjuk számos más új igazítási módszer támogatását:

• DPO: könnyű igazítási algoritmus az RLHF-hez képest egyszerűbb veszteségfüggvénnyel.
• Önjáték Finomhangolás (SPIN)
• SteerLM: kondicionált SFT-n alapuló technika, irányítható kimenettel.

További információkért tekintse meg a dokumentációt: Igazítási dokumentáció

Multimodális modellek

• A NeMo Framework optimalizált szoftvert biztosít a legkorszerűbb multimodális modellek betanításához és telepítéséhez több kategóriában: Multimodális nyelvi modellek, Vision-Language Foundations, Text-to-Image modellek és azon túl, hogy a 2D-s generálást neurális sugárzási mezők (NeRF) segítségével végezzük.
• Mindegyik kategória úgy lett kialakítva, hogy megfeleljen a speciális igényeknek és a területen elért előrelépéseknek, kihasználva a legmodernebb modelleket az adattípusok széles skálájának kezelésére, beleértve a szöveget, képeket és 3D modelleket.

Telepítés és következtetés
A NeMo-keretrendszer különféle útvonalakat biztosít az LLM-következtetésekhez, kielégítve a különböző telepítési forgatókönyveket és teljesítményigényeket.

Telepítse az NVIDIA NIM-mel

• A NeMo Framework zökkenőmentesen integrálható a vállalati szintű modelltelepítési eszközökkel az NVIDIA NIM-en keresztül. Ezt az integrációt az NVIDIA TensorRT-LLM hajtja, biztosítva az optimalizált és méretezhető következtetést.
• A NIM-mel kapcsolatos további információkért látogasson el az NVIDIA oldalára webtelek.

Telepítse a TensorRT-LLM vagy vLLM segítségével

• A NeMo Framework szkripteket és API-kat kínál a modellek exportálásához két következtetésre optimalizált könyvtárba, a TensorRT-LLM-be és a vLLM-be, valamint az exportált modell telepítéséhez az NVIDIA Triton Inference Server segítségével.
• Az optimalizált teljesítményt igénylő forgatókönyvek esetén a NeMo modellek kihasználhatják a TensorRT-LLM-et, egy speciális könyvtárat az LLM következtetések felgyorsítására és optimalizálására NVIDIA GPU-kon. Ez a folyamat magában foglalja a NeMo modellek konvertálását a TensorRT-LLM-mel kompatibilis formátumba a nemo.export modul használatával.
  • Az LLM bevezetésének végeview
  • Telepítse a NeMo nagy nyelvű modelleket a NIM segítségével
  • Telepítse a NeMo nagy nyelvi modelleket a TensorRT-LLM segítségével
  • Telepítse a NeMo nagy nyelvi modelleket a vLLM segítségével

Támogatott modellek

Nagy nyelvi modellek

Nagy nyelvi modellek

Nagy nyelvi modellek	Előképzés és SFT	PEFT	Igazítás	FP8 képzési konvergencia	TRT/TRTLLM	Átalakítás átölelő arcra és arcról	Értékelés
Llama3 8B/70B, Llama3.1 405B	Igen	Igen	x	Igen (részben igazolva)	Igen	Mindkét	Igen
Mixtral 8x7B/8x22B	Igen	Igen	x	Igen (ellenőrizetlen)	Igen	Mindkét	Igen
Nemotron 3 8B	Igen	x	x	Igen (ellenőrizetlen)	x	Mindkét	Igen
Nemotron 4 340B	Igen	x	x	Igen (ellenőrizetlen)	x	Mindkét	Igen
Baichuan2 7B	Igen	Igen	x	Igen (ellenőrizetlen)	x	Mindkét	Igen
ChatGLM3 6B	Igen	Igen	x	Igen (ellenőrizetlen)	x	Mindkét	Igen
Gemma 2B/7B	Igen	Igen	x	Igen (ellenőrizetlen)	Igen	Mindkét	Igen
Gemma2 2B/9B/27B	Igen	Igen	x	Igen (ellenőrizetlen)	x	Mindkét	Igen
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Igen	Igen	x	Igen (ellenőrizetlen)	x	x	Igen
Phi3 mini 4k	x	Igen	x	Igen (ellenőrizetlen)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Igen	Igen	x	Igen (ellenőrizetlen)	Igen	Mindkét	Igen
StarCoder 15B	Igen	Igen	x	Igen (ellenőrizetlen)	Igen	Mindkét	Igen
StarCoder2 3B/7B/15B	Igen	Igen	x	Igen (ellenőrizetlen)	Igen	Mindkét	Igen
BERT 110M/340M	Igen	Igen	x	Igen (ellenőrizetlen)	x	Mindkét	x
T5 220M/3B/11B	Igen	Igen	x	x	x	x	x

 

Látásnyelvi modellek

 

Modellek beágyazása

 

Világalapítványi modellek

Jegyzet
A NeMo támogatja a diffúziós és autoregresszív architektúrák előképzését is text2world alapozó modellek.

Beszéd AI

A társalgási AI-modellek fejlesztése összetett folyamat, amely magában foglalja a modellek meghatározását, felépítését és betanítását bizonyos területeken belül. Ez a folyamat általában több iterációt igényel a magas szintű pontosság eléréséhez. Gyakran több iterációt is magában foglal a nagy pontosság elérése érdekében, a különféle feladatok és tartományspecifikus adatok finomhangolása, a képzési teljesítmény biztosítása és a modellek előkészítése a következtetések telepítéséhez.

A NeMo Framework támogatást nyújt a Speech AI modellek képzéséhez és testreszabásához. Ez magában foglalja az olyan feladatokat, mint az automatikus beszédfelismerés (ASR) és a szövegfelolvasó (TTS) szintézis. Zökkenőmentes átmenetet kínál a vállalati szintű éles üzembe helyezésre az NVIDIA Riva segítségével. A fejlesztők és kutatók segítése érdekében a NeMo Framework korszerű előre betanított ellenőrzőpontokat, reprodukálható beszédadat-feldolgozási eszközöket, valamint beszédadatkészletek interaktív feltárását és elemzését szolgáló funkciókat tartalmaz. A NeMo Framework for Speech AI összetevői a következők:

Képzés és testreszabás
A NeMo Framework mindent tartalmaz, ami a beszédmodellek betanításához és testreszabásához (ASR, Beszédosztályozás, Hangszóró felismerése, Beszélő naplózása, és TTS) reprodukálható módon.

SOTA előképzett modellek

• A NeMo Framework a legkorszerűbb recepteket és számos előképzett ellenőrzőpontot kínál ASR és TTS modelleket, valamint a betöltési utasításokat.
• Beszédeszközök
• A NeMo Framework az ASR és TTS modellek fejlesztéséhez hasznos eszközöket biztosít, beleértve:
  • NeMo Forced Aligner (NFA) token-, szó- és szegmens szintű időmérő generálásáhozampbeszéd hangban a NeMo CTC-alapú automatikus beszédfelismerési modelljei segítségével.
  • Beszédadat-feldolgozó (SDP), egy eszköztár a beszédadat-feldolgozás egyszerűsítésére. Lehetővé teszi, hogy az adatfeldolgozási műveleteket egy konfigurációban ábrázolja file, minimálisra csökkentve az alapkódot, lehetővé téve a reprodukálhatóságot és a megoszthatóságot.
  • Speech Data Explorer (SDE), Dash alapú web alkalmazás beszédadatkészletek interaktív feltárására és elemzésére.
  • Adatkészlet-készítő eszköz amely funkciót biztosít a hosszú hangok összehangolására files a megfelelő átiratokkal, és bontsa fel rövidebb töredékekre, amelyek alkalmasak az automatikus beszédfelismerés (ASR) modellképzésére.
  • Összehasonlító eszköz Az ASR-modellek számára, hogy összehasonlítsák a különböző ASR-modellek előrejelzéseit szópontossági és kimondási szinten.
  • ASR értékelő az ASR-modellek és egyéb funkciók, például a hangtevékenység-érzékelés teljesítményének értékeléséhez.
  • Szövegnormalizációs eszköz szöveg konvertálása írott formáról beszélt formára és fordítva (pl. „31.” vs „harmincegyedik”).
• Útvonal a telepítéshez
• A NeMo keretrendszerrel betanított vagy testreszabott NeMo modellek optimalizálhatók és telepíthetők az NVIDIA Rivával. A Riva konténereket és Helm diagramokat kínál, amelyeket kifejezetten a nyomógombos telepítés lépéseinek automatizálására terveztek.

Egyéb források

GitHub Repos

• NeMo: A NeMo Framework fő tárolója
• NeMo–Fut: Eszköz a gépi tanulási kísérletek konfigurálásához, elindításához és kezeléséhez.
• NeMo-Aligner: Méretezhető eszközkészlet a hatékony modelligazításhoz
• NeMo-kurátor: Skálázható adat-előfeldolgozási és kurátori eszköztár LLM-ek számára

Segítség kérése
Vegyen részt a NeMo közösséggel, tegyen fel kérdéseket, kérjen támogatást vagy jelentse a hibákat.

• NeMo beszélgetések
• NeMo problémák

Programozási nyelvek és keretrendszerek

• Piton: A NeMo Framework használatának fő felülete
• Pytorch: A NeMo Framework a PyTorch tetejére épül

Licencek

• A NeMo Github repo licence az Apache 2.0 licenc alatt van
• A NeMo Framework licence az NVIDIA AI TERMÉKSZERZŐDÉSE értelmében biztosított. A konténer húzásával és használatával Ön elfogadja a jelen licenc feltételeit.
• A NeMo Framework tároló láma anyagokat tartalmaz, amelyekre a Meta Llama3 közösségi licencszerződés vonatkozik.

Lábjegyzetek
Jelenleg a Multimodális modellek NeMo Curator és NeMo Aligner támogatása folyamatban van, és hamarosan elérhető lesz.

GYIK

K: Hogyan ellenőrizhetem, hogy a rendszeremet érinti-e a biztonsági rés?
V: A telepített NVIDIA NeMo Framework verziójának ellenőrzésével ellenőrizheti, hogy a rendszer érintett-e. Ha a 24-es verzió alatt van, akkor a rendszere sebezhető lehet.

K: Ki jelentette a CVE-2025-23360 biztonsági problémát?
V: A biztonsági problémát az Or Peles – JFrog Security jelentette. Az NVIDIA elismeri hozzájárulásukat.

K: Hogyan kaphatok jövőbeli biztonsági közleményeket?
V: Látogassa meg az NVIDIA Product Security oldalát, ahol feliratkozhat a biztonsági közleményekre, és értesülhet a termékbiztonsági frissítésekről.

Dokumentumok / Források

NVIDIA NeMo Framework [pdf] Felhasználói útmutató NeMo Framework, NeMo, Framework

Hivatkozások

• Felhasználói kézikönyv