NVIDIA NeMo Framework

Texnik xususiyatlari

• Mahsulot nomi: NVIDIA NeMo Framework
• Ta'sir qilingan platformalar: Windows, Linux, macOS
• Ta'sir qilingan versiyalar: 24 dan oldingi barcha versiyalar
• Xavfsizlik zaifligi: CVE-2025-23360
• Xavfni baholashning asosiy balli: 7.1 (CVSS v3.1)

Mahsulotdan foydalanish bo'yicha ko'rsatmalar

Xavfsizlik yangilanishini o'rnatish:
Tizimingizni himoya qilish uchun quyidagi amallarni bajaring:

1. GitHub’dagi NeMo-Framework-Launcher Releases sahifasidan so‘nggi versiyani yuklab oling.
2. Qo'shimcha ma'lumot olish uchun NVIDIA Product Security sahifasiga o'ting.

Xavfsizlik yangilanishi tafsilotlari:
Xavfsizlik yangilanishi NVIDIA NeMo Framework tizimidagi zaiflikni ko'rib chiqadi, bu kodning bajarilishi va ma'lumotlar t ga olib kelishi mumkin.ampring.

Dasturiy ta'minotni yangilash:
Agar siz avvalgi filial versiyasidan foydalanayotgan bo'lsangiz, xavfsizlik muammosini hal qilish uchun eng so'nggi filial versiyasiga yangilash tavsiya etiladi.

tugadiview

NVIDIA NeMo Framework - tadqiqotchilar va ishlab chiquvchilar uchun ishlab chiqilgan kengaytiriladigan va bulutli generativ AI asosidir. Katta til modellari, Multimodal va Nutq AI (masalan Nutqni avtomatik aniqlash va Matndan nutqqa). U foydalanuvchilarga mavjud kod va oldindan o‘rgatilgan model nazorat punktlaridan foydalangan holda yangi generativ AI modellarini samarali yaratish, sozlash va o‘rnatish imkonini beradi.

O'rnatish bo'yicha ko'rsatmalar: NeMo Framework-ni o'rnating

Katta tilli modellar va multimodal modellar
NeMo Framework yirik tilli modellar (LLM) va multimodal modellarni (MMs) ishlab chiqish uchun uchdan-end yordam beradi. Bu mahalliy, ma'lumotlar markazida yoki siz tanlagan bulutli provayder bilan foydalanish uchun moslashuvchanlikni ta'minlaydi. Shuningdek, u SLURM yoki Kubernetes yoqilgan muhitlarda bajarilishini qo'llab-quvvatlaydi.

Ma'lumotlarni saqlash
NeMo kuratori [1] Python kutubxonasi boʻlib, u maʼlumotlarni qazib olish va sintetik maʼlumotlarni yaratish uchun modullar toʻplamini oʻz ichiga oladi. Ular GPU-lar uchun kengaytiriladigan va optimallashtirilgan bo'lib, ularni LLM-larni o'qitish yoki sozlash uchun tabiiy til ma'lumotlarini qayta ishlash uchun ideal qiladi. NeMo Curator yordamida siz keng qamrovli xom ashyolardan yuqori sifatli matnni samarali tarzda ajratib olishingiz mumkin web ma'lumotlar manbalari.

Trening va moslashtirish

NeMo Framework samarali o'qitish va sozlash uchun vositalarni taqdim etadi LLMlar va multimodal modellar. U yangi ma'lumotlar to'plamlari va modellarni o'qitish uchun sozlanishi mumkin bo'lgan hisoblash klasterini sozlash, ma'lumotlarni yuklab olish va model giperparametrlari uchun standart konfiguratsiyalarni o'z ichiga oladi. Oldindan tayyorgarlikdan tashqari, NeMo ham nazorat ostida nozik sozlash (SFT) va LoRA, Ptuning va boshqalar kabi Parametrli samarali nozik sozlash (PEFT) usullarini qo'llab-quvvatlaydi.

NeMo-da treningni boshlash uchun ikkita variant mavjud - NeMo 2.0 API interfeysi yoki NeMo Run yordamida.

• NeMo Run bilan (tavsiya etiladi): NeMo Run turli xil hisoblash muhitlarida tajribalarni sozlash, bajarish va boshqarishni soddalashtirish uchun interfeysni taqdim etadi. Bunga ish stantsiyangizda mahalliy yoki katta klasterlarda – ikkala SLURM yoqilgan yoki bulutli muhitda Kubernetesda ishlarni boshlash kiradi.
  • NeMo Run bilan tayyorgarlikdan oldingi va PEFT Tez boshlash
• NeMo 2.0 API dan foydalanish: Ushbu usul kichik modellarni o'z ichiga olgan oddiy sozlash bilan yaxshi ishlaydi yoki siz o'zingizning shaxsiy ma'lumotlar yuklagichingizni, o'quv tsikllarini yozishni yoki model qatlamlarini o'zgartirishni xohlasangiz. Bu sizga konfiguratsiyalar ustidan ko'proq moslashuvchanlik va nazoratni beradi va konfiguratsiyalarni dasturiy jihatdan kengaytirish va sozlashni osonlashtiradi.
  • TraNeMo 2.0 API bilan tezkor ishga tushirish
  • NeMo 1.0 dan NeMo 2.0 API ga oʻtish

Hizalama

• NeMo-Aligner [1] modelni samarali moslashtirish uchun kengaytiriladigan asboblar to'plamidir. Asboblar to'plami SteerLM, DPO, Insonning fikr-mulohazalaridan mustahkam o'rganish (RLHF) va boshqalar kabi zamonaviy modellarni moslashtirish algoritmlarini qo'llab-quvvatlaydi. Ushbu algoritmlar foydalanuvchilarga til modellarini xavfsizroq, zararsiz va foydali bo'lish uchun moslashtirishga imkon beradi.
• Barcha NeMo-Aligner nazorat punktlari NeMo ekotizimiga oʻzaro mos keladi, bu esa keyingi sozlash va xulosa chiqarish imkonini beradi.

Kichik GPT-2B modelida RLHF ning barcha uch bosqichining bosqichma-bosqich ish jarayoni:

• SFT treningi
• Mukofot namunasi bo'yicha trening
• PPO treningi

Bundan tashqari, biz turli xil moslashtirish usullarini qo'llab-quvvatlaymiz:

• DPO: oddiyroq yo'qotish funktsiyasi bilan RLHF bilan solishtirganda engil hizalama algoritmi.
• O'z-o'zini o'ynash Nozik sozlash (SPIN)
• SteerLM: konditsioner-SFTga asoslangan texnika, boshqariladigan chiqishi bilan.

Qo'shimcha ma'lumot olish uchun hujjatlarni ko'rib chiqing: Hujjatlarni tekislash

Multimodal modellar

• NeMo Framework zamonaviy multimodal modellarni bir necha toifalar bo'yicha o'qitish va joylashtirish uchun optimallashtirilgan dasturiy ta'minotni taqdim etadi: Multimodal til modellari, Vision-Language Foundations, Text-to-Image modellari va Neural Radiance Fields (NeRF) yordamida 2D avloddan tashqari.
• Har bir turkum matn, tasvir va 3D modellarni oʻz ichiga olgan keng turdagi maʼlumotlar turlarini boshqarish uchun ilgʻor modellardan foydalangan holda muayyan ehtiyojlar va sohadagi yutuqlarni qondirish uchun moʻljallangan.

Joylashtirish va xulosa chiqarish
NeMo Framework turli xil joylashtirish stsenariylari va ishlash ehtiyojlarini qondirish uchun LLM xulosasi uchun turli yo'llarni taqdim etadi.

NVIDIA NIM bilan joylashtiring

• NeMo Framework NVIDIA NIM orqali korporativ darajadagi modellarni joylashtirish vositalari bilan muammosiz integratsiyalashgan. Ushbu integratsiya NVIDIA TensorRT-LLM tomonidan quvvatlanadi, bu optimallashtirilgan va kengaytiriladigan xulosani ta'minlaydi.
• NIM haqida qo'shimcha ma'lumot olish uchun NVIDIA-ga tashrif buyuring websayt.

TensorRT-LLM yoki vLLM bilan joylashtiring

• NeMo Framework skriptlar va API-larni taklif qiladi, modellarni ikkita optimallashtirilgan, TensorRT-LLM va vLLM kutubxonalariga eksport qilish va eksport qilingan modelni NVIDIA Triton Inference Server bilan joylashtirish uchun.
• Optimallashtirilgan ishlashni talab qiladigan stsenariylar uchun NeMo modellari NVIDIA GPU-larda LLM xulosasini tezlashtirish va optimallashtirish uchun ixtisoslashgan TensorRT-LLM kutubxonasidan foydalanishi mumkin. Bu jarayon NeMo modellarini nemo.export moduli yordamida TensorRT-LLM bilan mos formatga aylantirishni o'z ichiga oladi.
  • LLM tarqatish tugadiview
  • NIM bilan NeMo katta til modellarini o'rnating
  • TensorRT-LLM bilan NeMo katta til modellarini o'rnating
  • NeMo katta til modellarini vLLM bilan o'rnating

Qo'llab-quvvatlanadigan modellar

Katta til modellari

Katta til modellari

Katta til modellari	Oldindan tayyorgarlik va SFT	PEFT	Hizalama	FP8 trening konvergentsiyasi	TRT/TRTLLM	Quchoqlashgan yuzga aylantirish	Baholash
Llama3 8B/70B, Llama3.1 405B	Ha	Ha	x	Ha (qisman tasdiqlangan)	Ha	Ikkalasi ham	Ha
Mixtral 8x7B/8x22B	Ha	Ha	x	Ha (tasdiqlanmagan)	Ha	Ikkalasi ham	Ha
Nemotron 3 8B	Ha	x	x	Ha (tasdiqlanmagan)	x	Ikkalasi ham	Ha
Nemotron 4 340B	Ha	x	x	Ha (tasdiqlanmagan)	x	Ikkalasi ham	Ha
Baichuan2 7B	Ha	Ha	x	Ha (tasdiqlanmagan)	x	Ikkalasi ham	Ha
ChatGLM3 6B	Ha	Ha	x	Ha (tasdiqlanmagan)	x	Ikkalasi ham	Ha
Gemma 2B/7B	Ha	Ha	x	Ha (tasdiqlanmagan)	Ha	Ikkalasi ham	Ha
Gemma2 2B/9B/27B	Ha	Ha	x	Ha (tasdiqlanmagan)	x	Ikkalasi ham	Ha
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Ha	Ha	x	Ha (tasdiqlanmagan)	x	x	Ha
Phi3 mini 4k	x	Ha	x	Ha (tasdiqlanmagan)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Ha	Ha	x	Ha (tasdiqlanmagan)	Ha	Ikkalasi ham	Ha
StarCoder 15B	Ha	Ha	x	Ha (tasdiqlanmagan)	Ha	Ikkalasi ham	Ha
StarCoder2 3B/7B/15B	Ha	Ha	x	Ha (tasdiqlanmagan)	Ha	Ikkalasi ham	Ha
BERT 110M/340M	Ha	Ha	x	Ha (tasdiqlanmagan)	x	Ikkalasi ham	x
T5 220M/3B/11B	Ha	Ha	x	x	x	x	x

 

Vizyon tili modellari

 

O'rnatish modellari

 

Jahon fondi modellari

Eslatma
NeMo, shuningdek, diffuziya va avtoregressiv arxitekturalar uchun oldindan tayyorgarlikni qo'llab-quvvatlaydi text2world poydevor modellari.

Nutq AI

Suhbatdosh AI modellarini ishlab chiqish murakkab jarayon bo'lib, muayyan sohalarda modellarni aniqlash, qurish va o'qitishni o'z ichiga oladi. Bu jarayon odatda yuqori aniqlik darajasiga erishish uchun bir necha marta takrorlashni talab qiladi. Bu ko'pincha yuqori aniqlikka erishish, turli vazifalar va domenga xos ma'lumotlarni nozik sozlash, o'quv samaradorligini ta'minlash va xulosa chiqarish uchun modellarni tayyorlash uchun bir nechta iteratsiyalarni o'z ichiga oladi.

NeMo Framework Speech AI modellarini o'rgatish va sozlashni qo'llab-quvvatlaydi. Bunga nutqni avtomatik aniqlash (ASR) va matnni nutqqa sintez qilish (TTS) kabi vazifalar kiradi. Bu NVIDIA Riva bilan korxona darajasida ishlab chiqarishni joylashtirishga muammosiz o'tishni taklif qiladi. Ishlab chiquvchilar va tadqiqotchilarga yordam berish uchun NeMo Framework eng zamonaviy oldindan tayyorlangan nazorat punktlarini, takrorlanadigan nutq ma'lumotlarini qayta ishlash vositalarini va nutq ma'lumotlar to'plamini interaktiv tadqiq qilish va tahlil qilish xususiyatlarini o'z ichiga oladi. NeMo Framework for Speech AI komponentlari quyidagilardan iborat:

Trening va moslashtirish
NeMo Framework nutq modellarini o'rgatish va sozlash uchun zarur bo'lgan hamma narsani o'z ichiga oladi (ASR, Nutq tasnifi, Spikerni tanib olish, Spikerni kundaliklashtirish, va TTS) takrorlanadigan tarzda.

SOTA oldindan tayyorlangan modellar

• NeMo Framework eng so'nggi retseptlar va bir nechta oldindan o'qitilgan nazorat punktlarini taqdim etadi ASR va TTS modellar, shuningdek ularni yuklash bo'yicha ko'rsatmalar.
• Nutq vositalari
• NeMo Framework ASR va TTS modellarini ishlab chiqish uchun foydali vositalar to'plamini taqdim etadi, jumladan:
  • NeMo Forced Aligner (NFA) token, so'z va segment darajasidagi vaqt jadvalini yaratish uchunampNeMo'ning CTC-ga asoslangan avtomatik nutqni aniqlash modellari yordamida audiodagi nutq s.
  • Nutq maʼlumotlar protsessori (SDP), nutq ma'lumotlarini qayta ishlashni soddalashtirish uchun asboblar to'plami. Bu konfiguratsiyada ma'lumotlarni qayta ishlash operatsiyalarini ko'rsatishga imkon beradi file, qozon kodini minimallashtirish va takrorlanuvchanlik va almashish imkonini beradi.
  • Speech Data Explorer (SDE), Dash-ga asoslangan web nutq ma'lumotlar to'plamini interaktiv tadqiq qilish va tahlil qilish uchun dastur.
  • Ma'lumotlar to'plamini yaratish vositasi uzun ovozni tekislash uchun funksionallikni ta'minlaydi files tegishli transkriptlari bilan va ularni avtomatik nutqni aniqlash (ASR) modelini o'rgatish uchun mos keladigan qisqaroq bo'laklarga bo'ling.
  • Taqqoslash vositasi ASR modellari uchun so'z aniqligi va talaffuz darajasida turli ASR modellarining bashoratlarini solishtirish.
  • ASR baholovchisi ASR modellari va Ovozli faollikni aniqlash kabi boshqa xususiyatlarning ishlashini baholash uchun.
  • Matnni normallashtirish vositasi matnni yozma shakldan og‘zaki shaklga va aksincha o‘zgartirish uchun (masalan, “31-chi” va “o‘ttiz birinchi”).
• Joylashtirishga yo'l
• NeMo Framework yordamida o'qitilgan yoki moslashtirilgan NeMo modellari NVIDIA Riva bilan optimallashtirilishi va joylashtirilishi mumkin. Riva, tugmachalarni joylashtirish bosqichlarini avtomatlashtirish uchun maxsus ishlab chiqilgan konteynerlar va Helm jadvallarini taqdim etadi.

Boshqa manbalar

GitHub reposlari

• NeMo: NeMo Framework uchun asosiy ombor
• NeMo-Yugurish: Mashina o'rganish tajribalaringizni sozlash, ishga tushirish va boshqarish uchun vosita.
• NeMo-Aligner: Modelni samarali moslashtirish uchun kengaytiriladigan asboblar to'plami
• NeMo-Curator: LLMlar uchun kengaytiriladigan ma'lumotlarni oldindan qayta ishlash va sozlash vositalari to'plami

Yordam olish
NeMo hamjamiyatiga murojaat qiling, savollar bering, yordam oling yoki xatolar haqida xabar bering.

• NeMo muhokamalari
• NeMo muammolari

Dasturlash tillari va ramkalar

• Python: NeMo Framework-dan foydalanish uchun asosiy interfeys
• Pytorch: NeMo Framework PyTorch ustiga qurilgan

Litsenziyalar

• NeMo Github repo Apache 2.0 litsenziyasi ostida litsenziyalangan
• NeMo Framework NVIDIA AI MAHSULOT SHARTNOMASI ostida litsenziyalangan. Konteynerni tortib olish va undan foydalanish orqali siz ushbu litsenziyaning shartlari va shartlarini qabul qilasiz.
• NeMo Framework konteynerida Meta Llama3 hamjamiyat litsenziya shartnomasi tomonidan boshqariladigan Llama materiallari mavjud.

Izohlar
Hozirda NeMo Curator va NeMo Aligner multimodal modellarni qo‘llab-quvvatlash ishlari davom etmoqda va tez orada foydalanishga topshiriladi.

TSS

Savol: Tizimga zaiflik ta'sir qilganligini qanday tekshirish mumkin?
Javob: O'rnatilgan NVIDIA NeMo Framework versiyasini tekshirish orqali tizimingizga ta'sir qilishini tekshirishingiz mumkin. Agar u 24-versiyadan past bo'lsa, tizimingiz zaif bo'lishi mumkin.

Savol: CVE-2025-23360 xavfsizlik muammosi haqida kim xabar berdi?
Javob: Xavfsizlik muammosi haqida Or Peles - JFrog Security xabar bergan. NVIDIA ularning hissasini tan oladi.

Savol: Kelajakdagi xavfsizlik byulleteni bildirishnomalarini qanday olishim mumkin?
Javob: Xavfsizlik byulleteni bildirishnomalariga obuna bo'lish va mahsulot xavfsizligi yangilanishlaridan xabardor bo'lish uchun NVIDIA Mahsulot xavfsizligi sahifasiga tashrif buyuring.

Hujjatlar / manbalar

NVIDIA NeMo Framework [pdf] Foydalanuvchi uchun qoʻllanma NeMo Framework, NeMo, Framework

Ma'lumotnomalar

• Foydalanuvchi uchun qo'llanma