NVIDIA NeMo Framework User Guide

NVIDIA NeMo Framework

ספּעסאַפאַקיישאַנז

• פּראָדוקט נאָמען: NVIDIA NeMo Framework
• אַפעקטאַד פּלאַטפאָרמס: Windows, Linux, macOS
• אַפעקטיד ווערסיעס: אַלע ווערסיעס איידער 24
• זיכערהייט וואַלנעראַביליטי: CVE-2025-23360
• ריזיקירן אַססעססמענט באַזע כעזשבן: 7.1 (CVSS v3.1)

פּראָדוקט באַניץ אינסטרוקציעס

ינסטאַלירונג פון זיכערהייט דערהייַנטיקן:
צו באַשיצן אייער סיסטעם, נאָכגיין די סטעפּס:

1. אראפקאפיע די לעצטע מעלדונג פון די NeMo-Framework-Launcher ריליסיז בלאַט אויף GitHub.
2. גיין צו NVIDIA פּראָדוקט זיכערהייט פֿאַר מער אינפֿאָרמאַציע.

זיכערהייט דערהייַנטיקן דעטאַילס:
די זיכערהייט דערהייַנטיקן אַדרעסז אַ וואַלנעראַביליטי אין די NVIDIA NeMo Framework וואָס קען פירן צו קאָד דורכפירונג און דאַטן.ampערינג.

ווייכווארג אַפּגרייד:
אויב איר נוצן אַ פריער צווייַג מעלדונג, עס איז רעקאַמענדיד צו אַפּגרייד צו די לעצטע צווייַג מעלדונג צו אַדרעס די זיכערהייט אַרויסגעבן.

איבערview

NVIDIA NeMo Framework איז אַ סקאַלאַבלע און וואָלקן-געבוירן גענעראַטיווע אַי פריימווערק געבויט פֿאַר ריסערטשערז און דעוועלאָפּערס וואָס אַרבעטן אויף גרויס שפּראַך מאָדעלס, מולטימאָדאַל, און רייד אַי (למשל אָטאַמאַטיק ספּיטש דערקענונג און טעקסט-צו-רעדע). עס ינייבאַלז יוזערז צו יפישאַנטלי שאַפֿן, קאַסטאַמייז און צעוויקלען נייַ דזשענעראַטיוו אַי מאָדעלס דורך לעווערידזשינג יגזיסטינג קאָד און פאַר-טריינד מאָדעל טשעקפּוינץ.

סעטאַפּ אינסטרוקציעס: ינסטאַלירן NeMo Framework

גרויס שפּראַך מאָדעלס און מולטימאָדאַל מאָדעלס
NeMo Framework גיט ענד-צו-סוף שטיצן פֿאַר דעוועלאָפּינג גרויס שפּראַך מאָדעלס (LLMs) און מולטימאָדאַל מאָדעלס (MMs). עס גיט די בייגיקייט צו זיין געוויינט אין לאָקאַל, אין אַ דאַטן צענטער אָדער מיט דיין בילכער וואָלקן שפּייַזער. עס אויך שטיצט דורכפירונג אויף SLURM אָדער Kubernetes ענייבאַלד ינווייראַנמאַנץ.

דאַטאַ קוראַטיאָן
NeMo קוראַטאָר [1] איז אַ פּיטהאָן ביבליאָטעק וואָס כולל אַ סוויט פון מאַדזשולז פֿאַר דאַטן מיינינג און סינטעטיש דאַטן דור. זיי זענען סקאַלאַבלע און אָפּטימיזעד פֿאַר גפּוס, מאכן זיי ידעאַל פֿאַר קוראַטינג נאַטירלעך שפּראַך דאַטן צו באַן אָדער פייַן-ניגן LLMs. מיט NeMo Curator, איר קענען עפפיסיענטלי עקסטראַקט הויך-קוואַליטעט טעקסט פֿון ברייט רוי web דאַטן קוואלן.

טריינינג און קוסטאָמיזאַטיאָן

NeMo Framework גיט מכשירים פֿאַר עפעקטיוו טריינינג און קוסטאָמיזאַטיאָן פון LLMs און מולטימאָדאַל מאָדעלס. עס כולל פעליקייַט קאַנפיגיעריישאַנז פֿאַר קאָמפּיוטער קנויל סעטאַפּ, דאַטן דאַונלאָודינג און מאָדעל כייפּערפּאַראַמאַטערז, וואָס קענען זיין אַדזשאַסטיד צו באַן אויף נייַע דאַטאַסעץ און מאָדעלס. אין אַדישאַן צו פאַר-טריינינג, NeMo שטיצט ביידע סופּערווייזד פיין-טונינג (SFT) און פּאַראַמעטער עפפיסיענט פיין-טונינג (PEFT) טעקניקס ווי לאָראַ, פּטונינג און מער.

צוויי אָפּציעס זענען בארעכטיגט צו קאַטער טריינינג אין NeMo - ניצן די NeMo 2.0 API צובינד אָדער מיט NeMo Run.

• מיט NeMo Run (רעקאַמענדיד): NeMo Run גיט אַ צובינד צו סטרימליין קאַנפיגיעריישאַן, דורכפירונג און פאַרוואַלטונג פון יקספּעראַמאַנץ אין פאַרשידן קאַמפּיוטינג ינווייראַנמאַנץ. דאָס כולל קאַטער דזשאָבס אויף דיין ווערקסטיישאַן לאָוקאַלי אָדער אויף גרויס קלאַסטערז - ביידע SLURM ענייבאַלד אָדער Kubernetes אין אַ וואָלקן סוויווע.
  • פאַר-טריינינג & PEFT קוויקקסטאַרט מיט NeMo Run
• ניצן די NeMo 2.0 API: דער אופֿן אַרבעט געזונט מיט אַ פּשוט סעטאַפּ מיט קליין מאָדעלס, אָדער אויב איר זענט אינטערעסירט אין שרייבן דיין אייגענע מנהג דאַטאַלאָאַדער, טריינינג לופּס אָדער טוישן מאָדעל לייַערס. עס גיט איר מער בייגיקייט און קאָנטראָל איבער קאַנפיגיעריישאַנז, און מאכט עס גרינג צו פאַרברייטערן און קאַסטאַמייז קאַנפיגיעריישאַנז פּראָגראַממאַטיק.
  • טראַמיט קוויקקסטאַרט מיט NeMo 2.0 API
  • מיגרייטינג פון NeMo 1.0 צו NeMo 2.0 API

אַליינמאַנט

• NeMo-Aligner [1] איז אַ סקאַלאַבלע טאָאָלקיט פֿאַר עפעקטיוו מאָדעל אַליינמאַנט. די טאָאָלקיט האט שטיצן פֿאַר מאָדערן אַלגערידאַמז פון מאָדעל אַלגערידאַמז אַזאַ ווי SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF) און פיל מער. די אַלגערידאַמז געבן וסערס צו ייַנרייען שפּראַך מאָדעלס צו זיין מער זיכער, ומשעדלעך און נוציק.
• כל די NeMo-Aligner טשעקפּוינץ זענען קרייַז-קאַמפּאַטאַבאַל מיט די NeMo יקאָוסיסטאַם, אַלאַוינג פֿאַר ווייַטער קוסטאָמיזאַטיאָן און ינפעראַנס דיפּלוימאַנט.

שריט-דורך-שריט וואָרקפלאָוו פון אַלע דריי פאַסעס פון RLHF אויף אַ קליין GPT-2B מאָדעל:

• SFT טריינינג
• שכר מאָדעל טריינינג
• PPO טריינינג

אין אַדישאַן, מיר באַווייַזן שטיצן פֿאַר פאַרשידן אנדערע ראָמאַן אַליינמאַנט מעטהאָדס:

• דפּאָ: אַ לייטווייט אַלגערידאַם אַלגערידאַם קאַמפּערד מיט RLHF מיט אַ סימפּלער אָנווער פונקציע.
• זיך-שפּיל פיין-טונינג (ספּין)
• SteerLM: אַ טעכניק באזירט אויף קאַנדישאַנד-SFT, מיט סטירינג רעזולטאַט.

קוק די דאַקיומענטיישאַן פֿאַר מער אינפֿאָרמאַציע: אַליינמאַנט דאָקומענטאַטיאָן

מולטימאָדאַל מאָדעלס

• NeMo Framework גיט אָפּטימיזעד ווייכווארג צו באַן און צעוויקלען מאָדערן מולטימאָדאַל מאָדעלס אין עטלעכע קאַטעגאָריעס: מולטימאָדאַל שפּראַך מאָדעלס, זעאונג-שפּראַך יסודות, טעקסט-צו-בילד מאָדעלס און ווייַטער פון 2D גענעראַטיאָן ניצן נעוראַל ראַדיאַנסע פיעלדס (NeRF).
• יעדער קאַטעגאָריע איז דיזיינד צו באַזאָרגן צו ספּעציפיש באדערפענישן און אַדוואַנטידזשיז אין דעם פעלד, לעווערידזשינג קאַטינג-ברעג מאָדעלס צו שעפּן אַ ברייט קייט פון דאַטן טייפּס, אַרייַנגערעכנט טעקסט, בילדער און 3 ד מאָדעלס.

דיפּלוימאַנט און ינפעראַנס
NeMo Framework גיט פאַרשידן פּאַטס פֿאַר LLM ינפעראַנס, קייטערינג צו פאַרשידענע דיפּלוימאַנט סינעריאָוז און פאָרשטעלונג דאַרף.

ניצן NVIDIA NIM

• NeMo Framework סימלאַס ינטאַגרייץ מיט פאַרנעמונג-מדרגה מאָדעל דיפּלוימאַנט מכשירים דורך NVIDIA NIM. די ינאַגריישאַן איז פּאַוערד דורך NVIDIA TensorRT-LLM, וואָס ינשורז אָפּטימיזעד און סקאַלאַבלע ינפעראַנס.
• פֿאַר מער אינפֿאָרמאַציע אויף NIM, באַזוכן די NVIDIA webפּלאַץ.

צעוויקלען מיט TensorRT-LLM אָדער vLLM

• NeMo Framework אָפפערס סקריפּס און אַפּיס צו אַרויספירן מאָדעלס צו צוויי ינפעראַנס אָפּטימיזעד לייברעריז, TensorRT-LLM און vLLM, און צו צעוויקלען די יקספּאָרטאַד מאָדעל מיט די NVIDIA Triton Inference Server.
• פֿאַר סינעריאָוז וואָס דאַרפן אָפּטימיזעד פאָרשטעלונג, NeMo מאָדעלס קענען לעווערידזש TensorRT-LLM, אַ ספּעשאַלייזד ביבליאָטעק פֿאַר אַקסעלערייטינג און אָפּטימיזינג LLM ינפעראַנס אויף NVIDIA GPUs. דער פּראָצעס ינוואַלווז קאַנווערטינג NeMo מאָדעלס אין אַ פֿאָרמאַט קאַמפּאַטאַבאַל מיט TensorRT-LLM ניצן די nemo.export מאָדולע.
  • LLM דיפּלוימאַנט איבערview
  • צעוויקלען NeMo גרויס שפּראַך מאָדעלס מיט NIM
  • צעוויקלען NeMo גרויס שפּראַך מאָדעלס מיט TensorRT-LLM
  • צעוויקלען NeMo גרויס שפּראַך מאָדעלס מיט vLLM

שטיצט מאָדעלס

גרויס שפּראַך מאָדעלס

גרויס שפּראַך מאָדעלס

גרויס שפּראַך מאָדעלס	פּרעטריינינג & SFT	PEFT	אַליינמאַנט	FP8 טראַינינג קאַנווערדזשאַנס	TRT/TRTLLM	גער צו און פֿון כאַגינג פּנים	אפשאצונג
לאַמאַ3 8ב / 70 ב, לאַמאַ 3.1 405 ב	יא	יא	x	יאָ (טייל וועראַפייד)	יא	ביידע	יא
מיקסטראַל 8x7B/8x22B	יא	יא	x	יאָ (אַנוועראַפייד)	יא	ביידע	יא
נעמאָטראָן 3 8ב	יא	x	x	יאָ (אַנוועראַפייד)	x	ביידע	יא
נעמאָטראָן 4 340ב	יא	x	x	יאָ (אַנוועראַפייד)	x	ביידע	יא
באַיטשואַן2 7ב	יא	יא	x	יאָ (אַנוועראַפייד)	x	ביידע	יא
ChatGLM3 6B	יא	יא	x	יאָ (אַנוועראַפייד)	x	ביידע	יא
געממאַ 2 ב / 7 ב	יא	יא	x	יאָ (אַנוועראַפייד)	יא	ביידע	יא
געממאַ2 2ב/9ב/27ב	יא	יא	x	יאָ (אַנוועראַפייד)	x	ביידע	יא
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	יא	יא	x	יאָ (אַנוועראַפייד)	x	x	יא
פי 3 מיני 4 ק	x	יא	x	יאָ (אַנוועראַפייד)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	יא	יא	x	יאָ (אַנוועראַפייד)	יא	ביידע	יא
סטאַרקאָדער 15ב	יא	יא	x	יאָ (אַנוועראַפייד)	יא	ביידע	יא
סטאַרקאָדער2 3 ב / 7 ב / 15 ב	יא	יא	x	יאָ (אַנוועראַפייד)	יא	ביידע	יא
BERT 110M/340M	יא	יא	x	יאָ (אַנוועראַפייד)	x	ביידע	x
T5 220M/3B/11B	יא	יא	x	x	x	x	x

 

זעאונג שפּראַך מאָדעלס

 

עמבעדדינג מאָדעלס

 

וועלט וויקיפּעדיע מאָדעלס

באַמערקונג
NeMo אויך שטיצט פּרעטריינינג פֿאַר ביידע דיפיוזשאַן און אַוטאָרעגרעסיוו אַרקאַטעקטשערז text2world יסוד מאָדעלס.

רייד אַי

דעוועלאָפּינג קאַנווערסיישאַנאַל אַי מאָדעלס איז אַ קאָמפּלעקס פּראָצעס וואָס ינוואַלווז דיפיינינג, קאַנסטראַקטינג און טריינינג מאָדעלס אין באַזונדער דאָומיינז. דער פּראָצעס טיפּיקלי ריקווייערז עטלעכע יטעריישאַנז צו דערגרייכן אַ הויך מדרגה פון אַקיעראַסי. עס אָפט ינוואַלווז קייפל יטעריישאַנז צו דערגרייכן הויך אַקיעראַסי, פיין-טונינג אויף פאַרשידן טאַסקס און פעלד-ספּעציפיש דאַטן, ינשורינג טריינינג פאָרשטעלונג און פּריפּערינג מאָדעלס פֿאַר ינפעראַנס דיפּלוימאַנט.

NeMo Framework גיט שטיצן פֿאַר טריינינג און קוסטאָמיזאַטיאָן פון ספּיטש אַי מאָדעלס. דאָס כולל טאַסקס ווי אָטאַמאַטיק ספּיטש רעקאָגניטיאָן (אַסר) און טעקסט-צו-רעדע (TTS) סינטעז. עס אָפפערס אַ גלאַט יבערגאַנג צו פאַרנעמונג פּראָדוקציע דיפּלוימאַנט מיט NVIDIA Riva. צו אַרוישעלפן דעוועלאָפּערס און ריסערטשערז, NeMo Framework כולל מאָדערן פאַר-טריינד טשעקפּוינץ, מכשירים פֿאַר רעפּראָדוסיבלע רייד דאַטן פּראַסעסינג און פֿעיִקייטן פֿאַר ינטעראַקטיוו עקספּלעריישאַן און אַנאַליסיס פון רעדע דאַטאַסעץ. די קאַמפּאָונאַנץ פון די NeMo Framework for Speech AI זענען ווי גייט:

טריינינג און קוסטאָמיזאַטיאָן
NeMo Framework כּולל אַלץ איר דאַרפֿן צו באַן און קאַסטאַמייז רייד מאָדעלס (ASR, רעדע קלאַסאַפאַקיישאַן, רעדנער דערקענונג, רעדנער דיאַריזאַטיאָן, און TTS) אין אַ רעפּראָדוצירן שטייגער.

SOTA פאַר-טריינד מאָדעלס

• NeMo Framework גיט מאָדערן רעסאַפּיז און פאַר-טריינד טשעקפּוינץ פון עטלעכע ASR און TTS מאָדעלס, ווי געזונט ווי ינסטראַקשאַנז אויף ווי צו מאַסע זיי.
• רייד מכשירים
• NeMo Framework גיט אַ סכום פון מכשירים נוציק פֿאַר דעוועלאָפּינג ASR און TTS מאָדעלס, אַרייַנגערעכנט:
  • NeMo Forced Aligner (NFA) פֿאַר דזשענערייטינג טאָקען-, וואָרט- און סעגמענט-מדרגה צייטamps פון רייד אין אַודיאָ ניצן NeMo ס CTC-באזירט אָטאַמאַטיק ספּיטש רעקאָגניטיאָן מאָדעלס.
  • ספּיטש דאַטאַ פּראַסעסער (SDP), אַ טאָאָלקיט פֿאַר סימפּלאַפייינג רייד דאַטן פּראַסעסינג. עס אַלאַוז איר צו פאָרשטעלן דאַטן פּראַסעסינג אַפּעריישאַנז אין אַ קאָנפיג file, מינאַמייזינג באָילערפּלאַטע קאָד און אַלאַוינג רעפּראָדוסיביליטי און שעראַביליטי.
  • Speech Data Explorer (SDE), אַ דאַש-באזירט web אַפּלאַקיישאַן פֿאַר ינטעראַקטיוו עקספּלעריישאַן און אַנאַליסיס פון רעדע דאַטאַסעץ.
  • דאַטאַסעט שאַפונג געצייַג וואָס גיט פאַנגקשאַנאַליטי צו ייַנרייען לאַנג אַודיאָ files מיט די קאָראַספּאַנדינג טראַנסקריפּץ און שפּאַלטן זיי אין קירצער פראַגמאַנץ וואָס זענען פּאַסיק פֿאַר אָטאַמאַטיק ספּיטש רעקאָגניטיאָן (אַסר) מאָדעל טריינינג.
  • פאַרגלייַך טול פֿאַר ASR מאָדעלס צו פאַרגלייַכן פֿאָרויסזאָגן פון פאַרשידענע ASR מאָדעלס אויף וואָרט אַקיעראַסי און אַטעראַנס מדרגה.
  • ASR עוואַלואַטאָר פֿאַר יוואַליוייטינג די פאָרשטעלונג פון ASR מאָדעלס און אנדערע פֿעיִקייטן אַזאַ ווי דיטעקשאַן פון קול אַקטיוויטי.
  • טעקסט נאָרמאַליזיישאַן געצייַג פֿאַר קאַנווערטינג טעקסט פון די געשריבן פאָרעם צו די גערעדט פאָרעם און וויצע ווערסאַ (למשל "31סט" ווס "דרייסיק ערשטער").
• וועג צו דיפּלוימאַנט
• NeMo מאָדעלס וואָס האָבן שוין טריינד אָדער קאַסטאַמייזד מיט די NeMo Framework קענען זיין אָפּטימיזעד און דיפּלויד מיט NVIDIA Riva. ריוואַ גיט קאַנטיינערז און העלם טשאַרץ ספּאַסיפיקלי דיזיינד צו אָטאַמייט די סטעפּס פֿאַר דיפּלוימאַנט פון שטופּן קנעפּל.

אנדערע רעסורסן

GitHub רעפּאָס

• NeMo: די הויפּט ריפּאַזאַטאָרי פֿאַר די NeMo Framework
• NeMo–לויפן: א געצייַג צו קאַנפיגיער, קאַטער און פירן דיין יקספּעראַמאַנץ פֿאַר מאַשין לערנען.
• NeMo-Aligner: סקאַלאַבלע טאָאָלקיט פֿאַר עפעקטיוו מאָדעל אַליינמאַנט
• נעמאָ-קוראַטאָר: סקאַלאַבלע דאַטן פאַר-פּראַסעסינג און קיוראַטיאָן טאָאָלקיט פֿאַר LLMs

געטינג הילף
דינגען זיך מיט די NeMo קהל, פרעגן פֿראגן, באַקומען שטיצן אָדער באַריכט באַגז.

• NeMo דיסקוסיעס
• NeMo ישוז

פּראָגראַממינג שפּראַכן און פראַמעוואָרקס

• פּיטהאָן: די הויפּט צובינד צו נוצן NeMo Framework
• פּיטאָרטש: NeMo Framework איז געבויט אויף שפּיץ פון PyTorch

ליסענסעס

• NeMo Github רעפּאָ איז לייסאַנסט אונטער די Apache 2.0 דערלויבעניש
• NeMo Framework איז לייסאַנסט אונטער די NVIDIA AI פּראָדוקט העסקעם. דורך ציען און נוצן דעם קאַנטיינער, איר אָננעמען די טערמינען און באדינגונגען פון דעם דערלויבעניש.
• די NeMo Framework קאַנטיינער כּולל לאַמאַ מאַטעריאַלס גאַווערנד דורך די Meta Llama3 קאַמיוניטי ליסענסע אַגרעעמענט.

פאָאָטנאָטעס
דערווייַל, NeMo Curator און NeMo Aligner שטיצן פֿאַר מולטימאָדאַל מאָדעלס איז אַ אַרבעט אין פּראָגרעס און וועט זיין בארעכטיגט זייער באַלד.

FAQ

ק: ווי קען איך קאָנטראָלירן אויב מיין סיסטעם איז אַפעקטאַד דורך די וואַלנעראַביליטי?
א: איר קענען קאָנטראָלירן אויב דיין סיסטעם איז אַפעקטאַד דורך וועראַפייינג די ווערסיע פון ​​די NVIDIA NeMo Framework אינסטאַלירן. אויב עס איז אונטער ווערסיע 24, דיין סיסטעם קען זיין שפּירעוודיק.

ק: ווער האָט געמאלדן די זיכערהייט אַרויסגעבן CVE-2025-23360?
א: די זיכערהייט אַרויסגעבן איז געווען געמאלדן דורך Or Peles - JFrog Security. NVIDIA אַקנאַלידזשיז זייער צושטייַער.

ק: ווי קען איך באַקומען נאָוטאַפאַקיישאַנז פֿאַר צוקונפֿט זיכערהייט בוליטאַן?
א: באַזוכן די NVIDIA פּראָדוקט זיכערהייט בלאַט צו אַבאָנירן צו זיכערהייט בוללעטין נאָוטאַפאַקיישאַנז און בלייבן ינפאָרמד וועגן פּראָדוקט זיכערהייט דערהייַנטיקונגען.