Edge AI ja servaarvutus – kuidas valida tööstusarvutit

Mis on servaarvutus?

Servaarvutus (edge computing) tähendab andmete töötlemist seal, kus need tekivad – masina juures asuvas arvutis, sõidukis või välitingimustes paiknevas kilbis –, mitte andmekeskuses või pilves. Servas asuv arvuti saadab edasi ainult tulemuse: häire, mõõteväärtuse või pildi kõrvalekaldest.

• Kiire reageerimine – otsus tehakse masina juures, näiteks kui vigane toode tuleb konveierilt välja praakida.
• Väiksem andmeliiklus – kümme kaamerat 4G kaudu läheb kalliks, kuid häire koos ühe pildiga on väike.
• Töötab ilma võrguta – süsteem töötab edasi kaevanduses, laeval või tunnelis.
• Andmekaitse – inimeste pildid ja tundlikud tootmisandmed ei pea objektilt lahkuma, mis lihtsustab GDPR-i nõuete täitmist.

Pilve on sageli siiski vaja. Tavaline lahendus on treenida mudel võimsas serveris või pilves ja käitada seda kohapeal.

Kus kasutatakse tehisintellekti servas?

• Tehased – masinnägemine ja kvaliteedikontroll, mis leiab kriimud, puuduvad detailid ja valed sildid täisliinikiirusel ka seal, kus kindlatest reeglitest ei piisa.
• Ennetav hooldus – vibratsiooni, voolu ja temperatuuri analüüs, mis hoiatab enne laagri riknemist.
• Liiklus ja turvalisus – sõidukite loendamine, numbrimärkide lugemine ja sissetungi tuvastamine alajaamades ja tunnelites.
• Sõidukid, energeetika ja tervishoid – kaamerad kaevandus- ja metsamasinate ümber, päikeseparkide ülevaatus ja ultrahelipiltide analüüs.

Kui palju arvutusvõimsust on vaja?

AI-mudelid töötavad paralleelsetel arvutusüksustel, nagu GPU või NPU (närvivõrguprotsessor), palju kiiremini kui tavalisel protsessorituumal.

Jetsoni mooduleid on kolmes suuruses: Orin Nano, Orin NX ja AGX Orin. NVIDIA andmetel ulatub jõudlus Orin Nano mõnekümnest TOPS-ist kuni 275 TOPS-ini suurima AGX Orini mooduli puhul, võimsustarbega umbes 7 kuni 60 W.

Mida TOPS praktikas tähendab?

TOPS (tera operations per second) näitab, mitu triljonit lihtsat tehet suudab kiip sekundis teha, tavaliselt 8-bitiste täisarvudega (INT8). See on teoreetiline maksimum ja tootjad arvutavad seda erinevalt. Mõni eeldab hõredat arvutust (sparsity), mis võib arvu kahekordistada, mõni liidab kokku CPU, GPU ja NPU jõudluse.

Oluline on see, mitu kaadrit sekundis sinu mudel vajalikul eraldusvõimel saavutab ja milline on viivitus. Testi mudelit oma piltidega arenduskomplektil või näidisseadmel ning jäta varu lisakaamerate jaoks.

Kvantimine ehk mudeli teisendamine 32-bitistelt ujukomaarvudelt 8-bitistele täisarvudele annab sageli mitu korda suurema kiiruse vähese täpsuskaoga. NVIDIA TensorRT ja Intel OpenVINO teevad selle sinu eest ära.

Kaamerad, PoE ja jahutus

Kõige levinum valik on PoE-toega IP- või GigE Vision kaamerad, kus üks kaabel kannab nii andmeid kui ka toidet. IEEE 802.3af PoE annab kuni 15,4 W pordi kohta ja PoE+ (802.3at) kuni 30 W, kuid arvuti kogu võimsuseelarve võib olla väiksem kui portide summa. Sõidukites ja robotites kasutatakse sageli GMSL-kaameraid koaksiaalkaabli ja FAKRA-pistikutega, mis taluvad vibratsiooni.

AI-arvutused tekitavad soojust. Ventilaatorita Jetson-arvuti jahtub korpuse kaudu, võimsa graafikakaardiga arvuti vajab aga ventilaatoreid ja suurt toiteplokki. Kõrgel temperatuuril langeb taktsagedus ja koos sellega kaadrisagedus. Testi kõrgeimal temperatuuril, mida arvuti peab taluma. Ventilaatorita jahutusest ja toitest räägime lähemalt oma tööstusarvutite juhendis.

Tarkvara, kaughaldus ja elutsükkel

Vali tarkvaraplatvorm enne riistvara. NVIDIA Jetsonil töötab JetPack – NVIDIA tarkvarapakett, mis sisaldab Jetson Linuxit (Ubuntu põhjal), CUDA-t ja TensorRT-d. Inteli protsessoritega arvutid kasutavad sageli OpenVINO-t ning neil töötavad nii Windows kui ka Linux.

Konteinerid, näiteks Docker, võimaldavad mudelit lihtsalt vahetada ilma operatsioonisüsteemi puutumata. Kui välitingimustes on palju arvuteid, vajad värskenduste ja seire jaoks kaughaldust. Planeeri ka turvalisus: turvaline alglaadimine (secure boot), TPM ja segmenteeritud võrk standardi IEC 62443 järgi.

AI-riistvara areneb kiiresti, kuid masinat müüakse palju aastaid. NVIDIA andmetel on Jetson Orini moodulid saadaval kuni 2032. aasta jaanuarini ja tööstuslik AGX Orini moodul kuni 2033. aasta juulini. Küsi ka seda, kui kaua sinu valitud arvutimudelit tarnitakse.

Viis levinud viga

1. Valik tehakse TOPS-i järgi. Arv ütleb vähe selle kohta, kuidas sinu mudel töötab. Testi oma piltidega.
2. PoE-eelarve on liiga väike. Kaamerad töötavad laual, kuid taaskäivituvad, kui öösel lülitub sisse IR-valgustus.
3. Liiga vähe treeningpilte. Uus valgustus, mustus ja uued tootevariandid vähendavad täpsust. Planeeri mudeli ümberõpe.
4. AI-d kasutatakse ohutusfunktsioonina. Kaamerapõhine inimeste tuvastamine ei asenda sertifitseeritud ohutusseadmeid, nagu valguskardinad ja ohutuslaserskannerid.
5. Värskendusteks pole plaani. Ilma kaughalduseta peab keegi mudeli vahetamiseks iga arvuti juurde minema.

Edge AI arvutid SCN-ilt

Pakume AI-arvuteid sellistelt kaubamärkidelt nagu AAEON, Winmate, Arbor Technology ja Axiomtek – alates kompaktsetest PoE-ga Jetson-arvutitest kuni süsteemideni, kuhu mahub täissuuruses graafikakaart.

Näiteid meie valikust

Korduma kippuvad küsimused

Mis vahe on servaarvutusel ja pilvel?

Servaarvutuse puhul töödeldakse andmeid kohapeal, masina lähedal. Serv annab kiirema reageerimise ja töötab ka ilma võrguta, pilv sobib aga treenimiseks ja paljude objektide andmete analüüsiks.

Mitu TOPS-i mul vaja on?

See sõltub mudelist, eraldusvõimest ja kaamerate arvust. Testi oma mudelit arenduskomplektil, mõõda kaadreid sekundis ja vali arvuti, millel on veidi varu.

Kas NVIDIA Jetsonil töötab Windows?

Ei. Jetsonil töötab Linux NVIDIA tarkvarapaketi JetPack kaudu. Kui vajad Windowsit, vali Inteli protsessoriga x86-arvuti, vajaduse korral koos graafikakaardi või AI-kiirendiga.

Mis vahe on GPU-l ja NPU-l?

GPU on paindlik paralleelprotsessor graafika ja AI jaoks. NPU on ehitatud ainult AI-arvutusteks ja annab suure jõudluse vati kohta, kuid toetab vähem mudelitüüpe.