NVIDIA Jetson: arhitectură, lucru și aplicațiile sale

Platforma lider din lume, cum ar fi NVIDIA Jetson, este o secvență de plăci de calcul încorporate care este utilizată în principal în mașini autonome și alte aplicații încorporate . Această placă conține în principal module Jetson, care sunt computere de înaltă performanță. Jetson este potrivit cu software AI similar și un flux de lucru nativ în cloud care este utilizat pe alte platforme NVIDIA și oferă clienților performanțe eficiente din punct de vedere energetic pentru a construi mașini autonome bazate pe software. NVIDIA Jetson este folosit pentru aplicații de computer vision. Deci, acest articol discută o prezentare generală a NVIDIA Jetson - funcționarea și aplicațiile sale.

Ce este NVIDIA Jetson?

NVIDIA Jetson este un sistem avansat sistem de încorporare placă care este utilizată pentru a crea produse inovatoare AI în mai multe industrii. NVIDIA Jetson este una dintre cele mai importante platforme hardware, care este foarte utilă pentru pasionații de tehnologie și, de asemenea, studenții pentru a obține experiență practică printr-o serie de proiecte inovatoare AI. Această placă este o placă foarte eficientă pentru AI, care include computere modulare, cu factor de formă mic și de înaltă performanță. În plus, această placă conține și JetPack SDK folosit pentru accelerarea software-ului, precum și un ecosistem complet pentru a ajuta la creșterea procedurii de dezvoltare a proiectelor personalizate de AI.

Arhitectura NVIDIA Jetson

Știm că modulul Nvidia Jetson de la Nvidia este o secvență de plăci de calcul încorporate. Toate modelele Jetson TX1, TX2 & TK1 poartă un procesor SoC sau Tegra de la Nvidia care încorporează un procesor cu arhitectură ARM. Aici, Jetson este un sistem de consum redus, conceput în principal pentru a accelera aplicațiile de învățare automată.

Arhitectura NVIDIA Jetson Xavier NX este prezentată mai jos. Este cel mai avansat și mai mic supercomputer AI folosit pentru dispozitive de calcul de margine, precum și robotică autonomă . Acest modul are capacitatea de a implementa performanțe de tip server într-un factor de formă solid de 70x45 mm și oferă, de asemenea, până la 21 TOPS de calcul sub 15W de putere, altfel până la 14 TOPS de calcul sub 10W.

Diagrama de mai sus conține un NVIDIA Volta cu 384 de nuclee încorporat GPU inclusiv un procesor NVIDIA Carmel ARMv8.2 pe 64 de biți cu 6 nuclee, 48 de nuclee tensor, 8 GB LPDDR4x pe 128 de biți, codificatoare și decodoare video 4K, motoare duale NVDLA (NVIDIA Deep Learning Accelerator), cameră pentru până la șase instantanee de înaltă rezoluție fluxuri de senzori, display dual Display Port sau HDMI 4K, extindere PCIe Generation 3, USB 3.1 și GPIO cu magistrală I2C, SPI, I2S, UART și CAN.

Specificațiile NVIDIA Jetson includ următoarele.

• Puterea este de 10 W sau 15 W și intrare de 5 V.
• Procesorul este NVIDIA Carmel pe 64 de biți ARMv 8.2 cu 6 nuclee la 1400MHz.
• GPU este NVIDIA Volta cu 384 de nuclee la 1100 MHz prin 48 de nuclee tensor.
• DL este motoarele Dual NVDLA.
• Memoria este de 8 GB LPDDR4x pe 128 de biți la 1600 MHz.
• 16 GB de stocare eMMC 5.1.
• Camera are 12x MIPI CSI-2 benzi | Camere 3×4 sau 6×2.
• Până la 6 camere (36 prin canale virtuale).
• Termice de la -25°C la 90°C.
• Afișajul este DP 1.4 sau eDP 1.4 sau HDMI 2.0 a/b la 4Kp60.
• Ethernet este 10 sau 100 sau 1000 BASE-T Ethernet.
• USB 3.1 și USB 2.0.

Acest modul este susținut de întreaga stivă de software CUDA-X a NVIDIA și, de asemenea, JetPack SDK pentru dezvoltarea AI. Rulează cadre de învățare automată foarte populare și DNN-uri dificile pe mai multe fluxuri de senzori de înaltă rezoluție simultan, în plus față de aplicații de viziune computerizată, grafică și multimedia în timp real într-un mediu desktop complet Linux.

În prezent, dezvoltatorii au început să proiecteze aplicații AI pentru Jetson Xavier NX cu ajutorul Jetson AGX Xavier Developer Kit. Aplicarea unui patch de model de dispozitiv lângă JetPack va face ca dispozitivul să funcționeze ca un Jetson Xavier NX. Acest lucru va modifica numărul de nuclee GPU și CPU care pot fi obținute prin software și va seta frecvențele de ceas, precum și tensiunile nucleelor ​​din sistem.

Patch-ul este complet reversibil și este utilizat pentru a aproxima performanța Jetson Xavier NX. Acest modul va clasifica modurile de putere implicite de 10W și 15W atingând între 14 și 21 de performanțe de vârf în funcție de modul activ. Instrumentul nvpmodel este folosit pentru a gestiona profilurile de putere pentru a regla cele mai înalte frecvențe CLK pentru GPU, CPU, diverse ceasuri SoC și controler de memorie împreună cu diferitele clustere CPU.

Pe baza sarcinii de lucru, regulatorul DVFS (Dynamic Voltage & Frequency Scaling) echilibrează frecvențele în timpul de rulare până la limitele lor cele mai înalte, așa cum este descris de modelul nvp activ, astfel încât utilizarea energiei este scăzută la inactiv și pe baza funcționării procesorului. Instrumentul nvpmodel ajută la crearea și modificarea de noi moduri de alimentare bazate pe cerințele TDP și aplicației.

Modulul NVIDIA Jetson aduce performanța supercomputerului la vârf într-un SOM cu factor de formă mic (system-on-module). Egal cu 21 TOPS de calcul accelerat trimite cai putere pentru a rula rețelele neuronale actuale în paralel și a procesa date de la diverși senzori de înaltă rezoluție. Acest modul este ideal pentru sisteme AI de înaltă performanță, cum ar fi instrumente medicale, roboți comerciali, sisteme AIoT încorporate, camere inteligente, inspecție optică automată, senzori de înaltă rezoluție, fabrici inteligente etc.

Software

Modulul NVIDIA Jetson este pur și simplu acceptat prin arhitecturi software combinate, astfel încât să îi facă pe dezvoltatorii de software să lucreze mult mai ușor. Această abordare combinată pur și simplu scutește dezvoltatorului de problemele de codare repetitivă, în timp ce își îmbunătățește formațiile pe alte module Jetson.

SDK-ul NVIDIA JetPack este disponibil cu un sistem de operare Linux, biblioteci accelerate CUDA-X și API-uri pentru diferite domenii de învățare automată, cum ar fi viziunea computerizată, învățarea profundă etc. De asemenea, acceptă cadre de învățare automată precum Caffe, TensorFlow, Keras și OpenCV computer vision. biblioteci.
NVIDIA Jetson oferă diferite instrumente software pentru modulele sale, care sunt discutate mai jos.

NVIDIA JetPack SDK

Pachetele software pentru platforma Jetson precum TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV și Visionworks sunt toate asamblate pe L4T prin kernel-ul LTS Linux.

Pachetul de drivere NVIDIA Jetson Linux

Oferă nucleul Linux, drivere NVIDIA, bootloader, exemplu de sistem de fișiere, utilități intermitente și multe altele pentru platforma Jetson.

NVIDIA DeepStream SDK

Este un set de API-uri și biblioteci pentru a ajuta dezvoltatorii să proiecteze și să aranjeze soluții puternice IVA (analiza video inteligentă) pe platforma Jetson. Este folosit pentru a construi aplicații complexe, cum ar fi codificare, captura de imagini, decodare, inferență cu TensorRT etc.

NVIDIA Isaac SDK

Este un set de biblioteci, API-uri, drivere și alte instrumente care vor adăuga AI la roboții de generație următoare pentru navigare, percepție și manipulare. Deci, ajută la crearea și implementarea roboticii bazate pe inteligență artificială.

Tipuri NVIDIA Jetson

Modulul NVIDIA Jetson vine cu memorie, GPU, CPU, interfețe de mare viteză, management al energiei etc. Aceste module sunt disponibile în diferite performanțe, eficiență energetică și variații ale factorilor de formă pentru a le face utilizate în diverse industrii. Există diferite dispozitive NVIDIA Jetson disponibile, care sunt discutate mai jos.

NVIDIA Jetson Nano

Modulul NVIDIA Jetson Nano este potrivit pentru dezvoltatori sau studenți și, de asemenea, pentru începători, deoarece este conceput în principal pentru învățarea și predarea practică. Dimensiunea acestui modul este mică, dar eficiența energetică și performanța lui sunt ridicate pentru a-l face perfect pentru a rula simultan mai multe rețele neuronale paralele, sarcini de lucru AI și procesare a datelor de la senzori de înaltă rezoluție. Astfel, modulul Jetson Nano este un dispozitiv de vârf foarte popular care este folosit pentru a face produse și soluții AI încorporate.

Acest modul este perfect pentru aplicațiile de viziune pe computer bazate pe AI și îndeplinește sarcini de viziune AI, cum ar fi detectarea obiectelor, segmentarea imaginilor, clasificarea imaginilor etc. Acest modul este foarte compatibil cu software-ul de viziune pe computer open-source și bibliotecile de învățare automată OpenCV.

Seria NVIDIA Jetson TX2

Modulul NVIDIA Jetson TX2 Series este proiectat cu dimensiunea unui card de credit. Caracteristicile acestui modul includ în principal un GPU NVIDIA Pascal, memorie de până la 8 GB, lățime de bandă de memorie de 59,7 GB/s și interfețe hardware standard. Acest modul oferă performanțe de până la 2,5 ori în comparație cu modulul NVIDIA Jetson Nano.

Acest modul rulează foarte eficient rețele neuronale profunde pe dispozitive de margine pentru a obține o precizie mai mare. Modulele care sunt disponibile în serie includ în principal Jetson TX2 4GB, Jetson TX2i, Jetson TX2 și Jetson TX2 NX. Modulul NVIDIA Jetson TX2 NX împărtășește pur și simplu compatibilitatea pin și factor de formă prin Jetson Xavier NX și Jetson Nano.

Celelalte trei module vor împărtăși factorul de formă al modulului Jetson TX2 original. Utilizarea seriei TX2 variază pur și simplu în diverse industrii, cum ar fi agricultura, producția, științele vieții, comerțul cu amănuntul etc. Modulul Jetson TX2i din modulele rămase este cel mai potrivit pentru dispozitive AI de înaltă performanță, cum ar fi echipamente medicale, camere de vedere artificială și roboți industriali, deoarece de designul său puternic.

Acest modul este un dispozitiv de calcul AI încorporat foarte rapid, care oferă o eficiență ridicată a consumului de energie, cum ar fi 7,5 W, capabilități de supercomputer, în principal pentru dispozitive AI de vârf și, de asemenea, diverse interfețe hardware pentru a le încorpora cu ușurință în diferite produse și factori de formă.

NVIDIA Jetson Xavier NX

Modulul NVIDIA Jetson Xavier NX este foarte mic în comparație cu un card de credit cu performanță ridicată și eficiență energetică. Acesta este, de asemenea, cunoscut drept cel mai mic supercomputer AI pentru sisteme edge și încorporate din lume. Acest modul ajută în special la rularea sistemelor AI complete.

Funcțiile Jetson Xavier NX acceptă, de asemenea, tehnologii native din cloud, astfel încât dezvoltatorilor le este ușor să actualizeze și să gestioneze produsele AI. Acest modul acceptă toate modelele și cadrele AI populare. Deci, acest modul se potrivește complet sistemelor AI de înaltă performanță, cum ar fi camerele inteligente, sistemele de viziune de înaltă rezoluție alimentate de AI, dronele, roboții comerciali sau echipamentele medicale.

Modulul NVIDIA Jetson Xavier NX oferă 21 de operațiuni Tera pe secundă sau TOPS pentru a rula o sarcină de lucru actuală AI consumând 10 W de putere. Factorul de formă al acestui modul este mai compact în comparație cu un card de credit. Modulul Xavier NX rulează diferite rețele neuronale simultan și procesează date de la diferiți senzori de înaltă rezoluție. Acest tip de modul este folosit pentru a proiecta aplicații pentru dispozitive de calcul embedded și edge care necesită performanțe ridicate, deși cu constrângeri semnificative de greutate, dimensiune și putere.

Seria NVIDIA Jetson AGX Xavier

Modulul NVIDIA Jetson AGX Xavier Series este dezvoltat în principal pentru mașinile inteligente autonome de ultimă generație. Acest modul oferă până la 32 de operațiuni TOPS sau Tera pe secundă de performanță AI atunci când se utilizează doar 10 wați. Dezvoltatorului de software i se permite pur și simplu să aranjeze rapid rețele neuronale cu un set de instrumente software AI ale NVIDIA.

Acest modul oferă diverse specificații și capabilități funcționale de securitate, astfel încât dezvoltatorii să creeze produse certificate de siguranță sau industriale. Performanța ridicată a acestui modul le poate face potrivite pentru numeroase mașini autonome, cum ar fi roboți logistici și industriali, sisteme de fabrică și drone mari.

Kit de dezvoltare Jetson Xavier NX

Kitul de dezvoltare jetson xavier nx include un modul Xavier NX solid, eficient din punct de vedere energetic, utilizat pentru dispozitivele edge alimentate de AI. Acest modul are câteva caracteristici precum suportul nativ în cloud și accelerează stiva de software NVIDIA în doar 10 W, cu performanță de peste 10 ori mai mare decât Jetson TX2. Acest kit de dezvoltator este folosit de producătorii de mașini inteligente, startup-uri AI și dezvoltatori de aplicații pentru a proiecta produse moderne cu inferențe AI compacte, foarte precise și factor de formă eficient din punct de vedere energetic.

Jetson AGX Xavier Industrial

Modulul industrial Jetson AGX Xavier face parte din seria AGX Xavier. Designul acestui modul este un factor de formă compatibil cu pin, care controlează cele mai actuale modele AI în aplicații solicitante. Acest modul oferă vibrații extinse, șocuri, specificații de temperatură, caracteristici avansate de securitate, de până la 4 ori memoria și de 20 de ori performanța modulului TX2i.

Acest modul este foarte util pentru designeri pentru a proiecta automatizare, robotică și alte produse inteligente. În plus, proiectează, de asemenea, produse certificate de siguranță și robuste pentru a oferi performanțe înalte pentru aplicații industriale, funcționale și de securitate încorporate în AI, într-un design cu factor de formă robust și eficient din punct de vedere energetic.

Avantaje

The avantajele NVIDIA Jetson includ următoarele.

• NVIDIA Jetson este potrivit pentru studenți, dezvoltatori individuali și diferite organizații.
• Platforma Jetson este foarte populară deoarece vine cu diverse beneficii, cum ar fi flexibilitate modulară, software unificat și suport pentru tehnologiile native din cloud.
• Această placă oferă un set de module care sunt foarte utile pentru orice, de la aplicații de bază AI până la dispozitive foarte complexe alimentate de AI.
• Această placă este alimentată printr-o arhitectură software unificată care ajută dezvoltatorii de la codificarea repetitivă. Odată ce au nevoie de capacitate AI/ML, atunci pot include un modul Jetson aferent dispozitivului și acesta se ocupă de ridicarea greutății.
• Platforma NVIDIA Jetson acceptă pur și simplu tehnologii și fluxuri de lucru native din cloud, cum ar fi orchestrarea și containerizarea, oferind dezvoltatorilor posibilitatea de a dezvolta rapid și de a extinde produsele AI.
• NVIDIA JetPack SDK este disponibil cu un sistem de operare Linux, API-uri și biblioteci de accelerare CUDA-X pentru o varietate de domenii de învățare automată, cum ar fi viziunea computerizată și învățarea profundă. De asemenea, oferă suport pentru cadrele de învățare automată precum Caffe și Keras, bibliotecile TensorFlow și OpenCV de viziune computerizată.

Dezavantaje

Are foarte puține dezavantaje luând în considerare prețul

• Modulul NVIDIA Jetson nano nu este disponibil cu wifi în interior.
• Modulul NVIDIA Jetson nano include doar doi pini PWM pe placă.

Aplicații

Aplicațiile NVIDIA Jetson includ următoarele.

• Modulul NVIDIA Jetson oferă sisteme de încorporare superioare care sunt utilizate pentru a face produse AI pentru o varietate de scenarii. Acesta este un modul eficient din punct de vedere energetic utilizat pentru AI, care include computere de înaltă performanță, modulare și cu factor de formă redus.
• Plăcile Nvidia Jetson sunt concepute în principal pentru a fi utilizate în sisteme încorporate, cum ar fi drone, roboți și alte dispozitive care necesită procesare puternică într-un factor de formă mic. Aplicațiile comune ale plăcilor Jetson includ în principal dispozitive medicale, vehicule autonome, semnalizare digitală, căști AR/VR, aplicații pentru orașe inteligente etc.
• Acest modul acceptă arhitecturi software unificate pentru a simplifica munca dezvoltatorilor de software.
  Modulele și dispozitivele NVIDIA Jetson sunt dispozitive edge optimizate utilizate pentru a dezvolta sisteme Edge AI.
• NVIDIA Jetson Nano Developer Kit este un computer foarte puternic și mic care rulează mai multe rețele neuronale în paralel pentru diverse aplicații precum detectarea obiectelor, clasificarea imaginilor, procesarea și segmentarea vorbirii.
• Modulul NVIDIA Jetson Nano este perfect pentru aplicațiile de viziune computerizată bazate pe AI și execută sarcini de viziune AI, cum ar fi segmentarea imaginii, clasificarea imaginilor, detectarea obiectelor etc.
• Modulele Nano ale NVIDIA Jetson aduc noi capabilități incredibile pentru mii de sisteme AI mici și eficiente din punct de vedere energetic
• Modulul NVIDIA Jetson Nano este compatibil cu bibliotecile de învățare automată OpenCV și software-ul open-source de viziune pe computer.

Q). Care este consumul de energie al modulelor Jetson?

A). Consumul de energie al modulului Jetson variază în funcție de model și de utilizare. Modulul Jetson Xavier, de exemplu, are un consum de energie tipic de aproximativ 15w până la 30w, în timp ce Jetson TX2 poate consuma între 7w și 15w.

Q). Poate fi folosit Jetson pentru detectarea și urmărirea obiectelor în timp real?

A). Da, platformele Jetson se pot ocupa de detectarea și urmărirea vederii. Modulul Nano este un GPU de înaltă performanță - cu platformă de calcul edge care poate fi utilizat în principal pentru detectare, numărare și urmărire.

Q). Cu ce ​​tipuri de senzori se poate interfata Jetson?

A). Senzorii de vedere sunt utilizați pentru interfațarea Jetson cu diverse interfețe de cameră precum USB, MIPI CSI și Ethernet. De asemenea, pot interfața cu lidar, senzorul cu ultrasunete și alte tipuri, precum și folosind diferite tipuri de interfețe precum I2C, SPI etc.

Q). Care este diferența dintre Jetson și Raspberry Pi?

A). Principala diferență dintre aceste două plăci este; NVIDIA Jetson a fost dezvoltat pentru a face față sarcinilor de IA și viziune pe computer foarte solicitante, în timp ce placa Raspberry Pi 4 are un GPU multimedia cu o putere redusă, folosit pentru calcul și educație generală. Jetson poate fi folosit pentru funcții mai avansate, cum ar fi decodarea și codificarea video accelerată de hardware, folosind GPU (Unitate de procesare grafică) și CPU (Unitate centrală de procesare) puternice.

Q). Poate fi folosit Jetson pentru aplicații de robotică autonomă?

A). Robotica și industria autonomă de mâine vor fi alimentate prin NVIDIA Jetson pentru mașini inteligente și robotică.

Astfel, aceasta este o prezentare generală a NVIDIA Jetson – avantajele și aplicațiile sale. Acest modul este platforma lider din întreaga lume care este folosită de dezvoltatori pentru a realiza produse avansate de inteligență artificială în toate industriile. Aceste module sunt, de asemenea, folosite de studenți și, de asemenea, entuziaști pentru a obține experiență practică în învățarea AI pentru a realiza proiecte uimitoare. Platforma Jetson cuprinde în principal kituri de dezvoltare mici și module de producție eficiente din punct de vedere energetic. Iată o întrebare pentru tine, ce este NVIDIA?