Нейронны працэсар

Нейронны працэсар (англ.: Neural Processing Unit, NPU або ШІ-паскаральнік англ.: AI accelerator)- гэта спецыялізаваны клас мікрапрацэсараў і супрацэсараў (якія часта з’яўляюцца спецыялізаванай інтэгральнай схемай), які выкарыстоўваецца для апаратнага паскарэння працы алгарытмаў штучных нейронных сетак, камп’ютарнага зроку, распазнавання па голасе, машыннага навучання і іншых метадаў штучнага інтэлекту.

Апісанне

Нейронныя працэсары ставяцца да вылічальнай тэхнікі і выкарыстоўваюцца для апаратнага паскарэння эмуляцыі работы нейронных сетак і лічбавай апрацоўкі сігналаў у рэжыме рэальнага часу. Як правіла, нейрапрацэсар утрымлівае рэгістр, блокі памяці магазіннага тыпу, камутатар і вылічальная прылада, якая змяшчае матрыцу множання, дэшыфратары, трыгеры і мультыплексары.

На сучасным этапе (па стане на 2017 год) да класа нейронных працэсараў могуць ставіцца розныя па будове і спецыялізацыі тыпы чыпаў, напрыклад:

• Нейраморфныя працэсары — пабудаваныя па кластарнай асінхроннай архітэктуры, распрацаванай у Карнельскім універсітэце (прынцыпова адрознай ад фон Нэйманаўскай і Гарвардскай камп’ютарных архітэктур, якія выкарыстоўваюцца апошнія 70 гадоў у IT-галіне). У адрозненне ад традыцыйных вылічальных архітэктур, логіка нейраморфных працэсараў першапачаткова вузкаспецыялізаваная для стварэння і распрацоўкі розных відаў штучных нейронных сетак. У будове выкарыстоўваюцца звычайныя транзістары, з якіх будуюцца вылічальныя ядры (кожнае ядро, як правіла, змяшчае планавальнік заданняў, уласную памяць тыпу SRAM і маршрутызатар для сувязі з іншымі ядрамі), кожнае з ядраў эмулюе працу некалькіх сотняў нейронаў і, такім чынам, адна інтэгральная схема, якая змяшчае некалькі тысяч такіх ядраў, алгарытмічна можа ўзнавіць масіў з некалькіх сотняў тысяч нейронаў і на парадак больш сінапсаў. Як правіла, такія працэсары ўжываюцца для алгарытмаў глыбокага машыннага навучання.
• Тэнзарныя працэсары — прылады, як правіла, з’яўляюцца супрацэсарамі, якія кіруюцца цэнтральным працэсарам, што аперуюць тэнзарамі — аб’ектамі, якія апісваюць пераўтварэнні элементаў адной лінейнай прасторы ў іншую і могуць быць прадстаўлены як шматмерныя масівы лікаў, апрацоўка якіх ажыццяўляецца з дапамогай такіх праграмных бібліятэк, як, напрыклад, TensorFlow. Яны, як правіла, абсталёўваюцца уласнай убудаванай аператыўнай памяццю і аперуюць нізкаразраднымі (8-бітнымі) лікамі, і вузкаспецыялізаваныя для выканання такіх аперацый, як матрычнае множанне і згортка, выкарыстоўваная для эмуляцыі згорткавых нейронных сетак, якія выкарыстоўваюцца для задач машыннага навучання.
• Працэсары машыннага зроку — шмат у чым падобныя на тэнзарныя працэсары, але яны вузкаспецыялізаваныя для паскарэння працы алгарытмаў машыннага зроку, у якіх выкарыстоўваюцца метады згорткавых нейронных сетак (CNN) і маштабна-інварыянтнай трансфармацыя прыкмет (SIFT). У іх робіцца вялікі акцэнт на распаралельванне патоку дадзеных паміж мноствам выканаўчых ядраў, уключаючы выкарыстанне мадэлі блакнотнай памяці — як у шмат'ядравых лічбавых сігнальных працэсараў, і яны гэтак жа, як тэнзарныя працэсары, выкарыстоўваюцца для вылічэнняў з нізкай дакладнасцю, прынятай пры апрацоўцы выяў.

Вобласць прымянення

Nvidia Drive PX-series.

• Беспілотны аўтамабіль — напрыклад, у гэтым кірунку развівае свае платы Drive PX-series кампанія Nvidia.
• Беспілотны лятальны апарат — напрыклад, навігацыйная сістэма заснаваная на чыпах Movidius Myriad 2 паспяхова кіруе аўтаномнымі беспілотнымі лятальнымі апаратамі.
• Дыягностыка ў ахове здароўя.
• Машынны пераклад.
• Апрацоўка натуральнай мовы.
• Пошукавая сістэма — NPU павышаюць энергаэфектыўнасць цэнтраў апрацоўкі дадзеных, і даюць магчымасць выкарыстоўваць усё больш складаныя запыты.
• Прамысловы робат — NPU дазваляюць пашырыць спектр задач, якія магчыма аўтаматызаваць, шляхам дадання прыстасоўвальнасці да зменлівых сітуацый
• Распазнаванне па голасе — напрыклад, у мабільных тэлефонах выкарыстанне тэхналогіі Qualcomm Zeroth
• Сельскагаспадарчы робат — напрыклад, барацьба з пустазеллем без прымянення хімічных сродкаў.

Прыклады

Існуючыя прадукты

16-ядзерны чып Adapteva Epiphany (E16G301) на однаплатным камп’ютары для паралельных вылічэнняў.

• Працэсары машыннага зроку:
  • Intel Movidius Myriad 2, які з’яўляецца шматядравым ШІ-паскаральнікам, заснаваным на VLIW-архітэктуры, з дапоўненымі вузламі, прызначанымі для апрацоўкі відэа.
  • Mobileye EyeQ — гэта спецыялізаваны працэсар, які паскарае апрацоўку алгарытмаў машыннага гледжання для выкарыстання ў беспілотным аўтамабілі.
• Тэнзарныя працэсы:
  • Google TPU (англ.: Tensor Processing Unit) — прадстаўлены як паскаральнік для сістэмы Google TensorFlow, якая шырока ўжываецца для згорткавых нейронных сетак. Сфакусаваны на вялікім аб’ёме арыфметыкі 8-бітнай дакладнасці.
  • Huawei Ascend 310/Ascend 910 — першыя два чыпы аптымізаваныя пад рашэнні задач штучнага інтэлекту з лінейкі Ascend кампаніі Huawei.
  • Intel Nervana NNP (англ.: Neural Network Processor) — гэта першы камерцыйна даступны тэнзарны працэсар, прызначаны для пабудовы сетак глыбокага навучання, кампанія Facebook была партнёрам у працэсе яго праектавання. Qualcomm Cloud AI 100 — паскаральнік штучнага інтэлекту, прызначаны для выкарыстання ў складзе хмарных платформаў, які падтрымлівае праграмныя бібліятэкі PyTorch, Glow, TensorFlow, Keras і ONNX.
• Нейраморфныя працэсары:
  • IBM TrueNorth — нейраморфны працэсар, пабудаваны па прынцыпе ўзаемадзеяння нейронаў, а не традыцыйнай арыфметыкі. Частата імпульсаў прадстаўляе інтэнсіўнасць сігналу. Па стане на 2016 год сярод даследчыкаў ШІ няма кансенсусу, ці з’яўляецца гэта правільным шляхам для прасоўвання, але некаторыя вынікі з’яўляюцца шматабяцальнымі, з прадэманстраванай вялікай эканоміяй энергіі для задач машыннага зроку.
• Adapteva Epiphany — прызначаны як супрацэсар, уключае мадэль блакнотнай памяці сеткі на крышталі, падыходзіць да мадэлі праграмавання патокам інфармацыі, якая павінна падыходзіць для многіх задач машыннага навучання.
• ComBox x64 Movidius PCIe Blade board — плата пашырэння PCI Express з максімальнай шчыльнасцю VPU Intel Movidius (MyriadX) для інферэнса звышдакладных нейронавых сетак у ЦАД
• Cambricon Mlu100 — карта пашырэння PCI Express з ШІ-працэсарам магутнасцю 64 TFLOPS з палавіннай дакладнасцю або 128 TOPS для вылічэнняў INT8.
• Cerebras Wafer Scale Engine (WSE, CS-1) — эксперыментальны суперпрацэсар кампаніі Cerebras, змяшчае 1,2 трлн транзістараў, арганізаваных у 400 000 ШІ-аптымізаваных вылічальных ядраў і 18 Гбайт лакальнай размеркаванай памяці SRAM і ўсё гэта звязана ячэістай сеткай з агульнай прадукцыйнасцю 100 петабіт у секунду. Чып Cerebras ― гэта фактычна суперкамп’ютар на чыпе, дзе вылічальныя ядры SLAC (Sparse Linear Algebra Cores) ― цалкам праграмуемыя і могуць быць аптымізаваныя для працы з любымі нейроннымі сеткамі.
• KnuPath — працэсар кампаніі KnuEdge, прызначаны для працы ў сістэмах распазнання маўлення і іншых галінах машыннага навучання, ён выкарыстоўвае злучальную тэхналогію LambdaFabric і дазваляе аб’ядноўваць у адзіную сістэму да 512 тысяч працэсараў.

GPU-прадукты

Nvidia Tesla C870.

• Nvidia Tesla — серыя спецыялізаваных GPGPU-прадуктаў кампаніі Nvidia:
  • Nvidia Volta — графічныя працэсары (GPU) архітэктуры Volta (2017 год) кампаніі Nvidia (такія як Volta GV100), утрымліваюць да 640 спецыяльных ядраў для тэнзарных вылічэнняў.
  • Nvidia Turing — графічныя працэсары архітэктуры Turing (2018 год) кампаніі Nvidia (такія як NVIDIA TU104), утрымліваюць да 576 спецыяльных ядраў для тэнзарных вылічэнняў.
  • Nvidia DGX-1 — спецыялізаваны сервер, які складаецца з 2 цэнтральных працэсараў і 8 GPU Nvidia Volta GV100 (5120 тэнзарных ядраў), звязаных праз хуткую шыну NVLink. Спецыялізаваная архітэктура памяці ў гэтай сістэмы з’яўляецца асабліва прыдатнай для пабудовы сетак глыбокага навучання.
• AMD Radeon Instinct — спецыялізаваная GPGPU — плата кампаніі AMD, прапанаваная як паскаральнік для задач глыбокага навучання.

ШІ-паскаральнікі ў выглядзе ўнутраных супрацэсараў (апаратных ШІ-блокаў)

6-ядзерны SoC Apple A11 Bionic з Neural Engine

• Cambricon-1A — NPU-блок у ARM-чыпах Huawei Kirin 970, распрацаваны кампаніяй Cambricon Technologies.
• CEVA NeuPro — сямейства ліцэнзуемых ШІ-працэсараў для глыбокага навучання кампаніі CEVA, Inc..
• Neural Engine — ІІ-паскаральнік ўнутры ARM-чыпаў Apple A11 Bionic і A12 Bionic SoC.
• PowerVR 2nx NNA (Neural Network Accelerator) — сямейства ліцэнзуемых IP-модуляў для машыннага навучання кампаніі Imagination Technologies.

Навуковыя даследаванні і прадукты, якія распрацоўваюцца

• Індыйскі тэхналагічны інстытут у Мадрасе распрацоўвае паскаральнік на імпульсных нейронах для новых сістэм архітэктуры RISC-V, накіраваных на апрацоўку вялікіх даных на серверных сістэмах.
• Eyeriss — распрацоўка, накіравана на згорткавыя нейронныя сеткі з ужываннем блакнотнай памяці і сеткавай архітэктуры ў межах крышталя.
• Fujitsu DLU — шматблочны і шмат’ядравы супрацэсар кампаніі Fujitsu які выкарыстоўвае вылічэнні з нізкай дакладнасцю і прызначаны для глыбокага машыннага навучання.
• Intel Loihi — нейраморфны працэсар кампаніі Intel, які спалучае працэсы навучання, трэніроўкі і прыняцця рашэнняў у адным чыпе, дазваляючы сістэме быць аўтаномнай і «кемлівай» без падлучэння да воблака. Напрыклад, пры навучанні з дапамогай базы дадзеных MNIST (Mixed National Institute of Standards and Technology) працэсар Loihi аказваецца ў 1 млн разоў лепш, чым іншыя тыповыя спайкавыя нейронныя сеткі.
• Kalray — паказала MPPA і паведаміла аб павышэнні эфектыўнасці згорткавых нейронных сетак у параўнанні з GPU.
• SpiNNaker — масава-паралельная камп’ютарная архітэктура, якая спалучае ядры традыцыйнай ARM-архітэктуры з удасканаленай сеткавай структурай, спецыялізаванай для мадэлявання буйной нейроннай сеткі.
• Zeroth NPU — распрацоўка кампаніі Qualcomm, накіраваная непасрэдна на прыўнясенне магчымасцей распазнання размовы і малюнкаў у мабільныя прылады.
• IVA TPU — тэнзарны працэсар, над стварэннем якога працуе расійская кампанія Iva Technologies. У кастрычніку 2020 года былі апублікаваныя вынікі тэставання архітэктуры паскаральніка разліку нейронных сетак IVA TPU, праведзенага міжнародным кансорцыумам MLPerf (заснаваны ў 2018 годзе Baidu, Google, Harvard University, Stanford University, University of California, Berkeley).

Спасылкі

• Популярность машинного обучения влияет на эволюцию архитектуры процессоров (руск.). Servernews. (31 августа 2017). Праверана 17 лістапада 2017.