Нейронны працэсар
Нейронны працэсар (англ.: Neural Processing Unit, NPU або ШІ-паскаральнік англ.: AI accelerator)- гэта спецыялізаваны клас мікрапрацэсараў і супрацэсараў (якія часта з’яўляюцца спецыялізаванай інтэгральнай схемай), які выкарыстоўваецца для апаратнага паскарэння працы алгарытмаў штучных нейронных сетак, камп’ютарнага зроку, распазнавання па голасе, машыннага навучання і іншых метадаў штучнага інтэлекту.
Апісанне
[правіць | правіць зыходнік]Нейронныя працэсары ставяцца да вылічальнай тэхнікі і выкарыстоўваюцца для апаратнага паскарэння эмуляцыі работы нейронных сетак і лічбавай апрацоўкі сігналаў у рэжыме рэальнага часу. Як правіла, нейрапрацэсар утрымлівае рэгістр, блокі памяці магазіннага тыпу, камутатар і вылічальная прылада, якая змяшчае матрыцу множання, дэшыфратары, трыгеры і мультыплексары[1].
На сучасным этапе (па стане на 2017 год) да класа нейронных працэсараў могуць ставіцца розныя па будове і спецыялізацыі тыпы чыпаў, напрыклад:
- Нейраморфныя працэсары — пабудаваныя па кластарнай асінхроннай архітэктуры, распрацаванай у Карнельскім універсітэце (прынцыпова адрознай ад фон Нэйманаўскай і Гарвардскай камп’ютарных архітэктур, якія выкарыстоўваюцца апошнія 70 гадоў у IT-галіне). У адрозненне ад традыцыйных вылічальных архітэктур, логіка нейраморфных працэсараў першапачаткова вузкаспецыялізаваная для стварэння і распрацоўкі розных відаў штучных нейронных сетак. У будове выкарыстоўваюцца звычайныя транзістары, з якіх будуюцца вылічальныя ядры (кожнае ядро, як правіла, змяшчае планавальнік заданняў, уласную памяць тыпу SRAM і маршрутызатар для сувязі з іншымі ядрамі), кожнае з ядраў эмулюе працу некалькіх сотняў нейронаў і, такім чынам, адна інтэгральная схема, якая змяшчае некалькі тысяч такіх ядраў, алгарытмічна можа ўзнавіць масіў з некалькіх сотняў тысяч нейронаў і на парадак больш сінапсаў. Як правіла, такія працэсары ўжываюцца для алгарытмаў глыбокага машыннага навучання[2].
- Тэнзарныя працэсары — прылады, як правіла, з’яўляюцца супрацэсарамі, якія кіруюцца цэнтральным працэсарам, што аперуюць тэнзарамі — аб’ектамі, якія апісваюць пераўтварэнні элементаў адной лінейнай прасторы ў іншую і могуць быць прадстаўлены як шматмерныя масівы лікаў[3], апрацоўка якіх ажыццяўляецца з дапамогай такіх праграмных бібліятэк, як, напрыклад, TensorFlow. Яны, як правіла, абсталёўваюцца уласнай убудаванай аператыўнай памяццю і аперуюць нізкаразраднымі (8-бітнымі) лікамі, і вузкаспецыялізаваныя для выканання такіх аперацый, як матрычнае множанне і згортка, выкарыстоўваная для эмуляцыі згорткавых нейронных сетак, якія выкарыстоўваюцца для задач машыннага навучання[4].
- Працэсары машыннага зроку — шмат у чым падобныя на тэнзарныя працэсары, але яны вузкаспецыялізаваныя для паскарэння працы алгарытмаў машыннага зроку, у якіх выкарыстоўваюцца метады згорткавых нейронных сетак (CNN) і маштабна-інварыянтнай трансфармацыя прыкмет (SIFT). У іх робіцца вялікі акцэнт на распаралельванне патоку дадзеных паміж мноствам выканаўчых ядраў, уключаючы выкарыстанне мадэлі блакнотнай памяці — як у шмат'ядравых лічбавых сігнальных працэсараў, і яны гэтак жа, як тэнзарныя працэсары, выкарыстоўваюцца для вылічэнняў з нізкай дакладнасцю, прынятай пры апрацоўцы выяў[5].
Вобласць прымянення
[правіць | правіць зыходнік]
- Беспілотны аўтамабіль — напрыклад, у гэтым кірунку развівае свае платы Drive PX-series кампанія Nvidia.
- Беспілотны лятальны апарат — напрыклад, навігацыйная сістэма заснаваная на чыпах Movidius Myriad 2 паспяхова кіруе аўтаномнымі беспілотнымі лятальнымі апаратамі.
- Дыягностыка ў ахове здароўя.
- Машынны пераклад.
- Апрацоўка натуральнай мовы.
- Пошукавая сістэма — NPU павышаюць энергаэфектыўнасць цэнтраў апрацоўкі дадзеных, і даюць магчымасць выкарыстоўваць усё больш складаныя запыты.
- Прамысловы робат — NPU дазваляюць пашырыць спектр задач, якія магчыма аўтаматызаваць, шляхам дадання прыстасоўвальнасці да зменлівых сітуацый
- Распазнаванне па голасе — напрыклад, у мабільных тэлефонах выкарыстанне тэхналогіі Qualcomm Zeroth
- Сельскагаспадарчы робат — напрыклад, барацьба з пустазеллем без прымянення хімічных сродкаў.
Прыклады
[правіць | правіць зыходнік]Існуючыя прадукты
[правіць | правіць зыходнік].jpg)
- Працэсары машыннага зроку:
- Intel Movidius Myriad 2, які з’яўляецца шматядравым ШІ-паскаральнікам, заснаваным на VLIW-архітэктуры, з дапоўненымі вузламі, прызначанымі для апрацоўкі відэа.
- Mobileye EyeQ — гэта спецыялізаваны працэсар, які паскарае апрацоўку алгарытмаў машыннага гледжання для выкарыстання ў беспілотным аўтамабілі.
- Тэнзарныя працэсы:
- Google TPU (англ.: Tensor Processing Unit) — прадстаўлены як паскаральнік для сістэмы Google TensorFlow, якая шырока ўжываецца для згорткавых нейронных сетак. Сфакусаваны на вялікім аб’ёме арыфметыкі 8-бітнай дакладнасці.
- Huawei Ascend 310/Ascend 910 — першыя два чыпы аптымізаваныя пад рашэнні задач штучнага інтэлекту з лінейкі Ascend кампаніі Huawei[6].
- Intel Nervana NNP (англ.: Neural Network Processor) — гэта першы камерцыйна даступны тэнзарны працэсар, прызначаны для пабудовы сетак глыбокага навучання, кампанія Facebook была партнёрам у працэсе яго праектавання[7][8]. Qualcomm Cloud AI 100 — паскаральнік штучнага інтэлекту, прызначаны для выкарыстання ў складзе хмарных платформаў, які падтрымлівае праграмныя бібліятэкі PyTorch, Glow, TensorFlow, Keras і ONNX[9].
- Нейраморфныя працэсары:
- IBM TrueNorth — нейраморфны працэсар, пабудаваны па прынцыпе ўзаемадзеяння нейронаў, а не традыцыйнай арыфметыкі. Частата імпульсаў прадстаўляе інтэнсіўнасць сігналу. Па стане на 2016 год сярод даследчыкаў ШІ няма кансенсусу, ці з’яўляецца гэта правільным шляхам для прасоўвання, але некаторыя вынікі з’яўляюцца шматабяцальнымі, з прадэманстраванай вялікай эканоміяй энергіі для задач машыннага зроку.
- Adapteva Epiphany — прызначаны як супрацэсар, уключае мадэль блакнотнай памяці сеткі на крышталі, падыходзіць да мадэлі праграмавання патокам інфармацыі, якая павінна падыходзіць для многіх задач машыннага навучання.
- ComBox x64 Movidius PCIe Blade board — плата пашырэння PCI Express з максімальнай шчыльнасцю VPU Intel Movidius (MyriadX) для інферэнса звышдакладных нейронавых сетак у ЦАД
- Cambricon Mlu100 — карта пашырэння PCI Express з ШІ-працэсарам магутнасцю 64 TFLOPS з палавіннай дакладнасцю або 128 TOPS для вылічэнняў INT8.
- Cerebras Wafer Scale Engine (WSE, CS-1) — эксперыментальны суперпрацэсар кампаніі Cerebras, змяшчае 1,2 трлн транзістараў, арганізаваных у 400 000 ШІ-аптымізаваных вылічальных ядраў і 18 Гбайт лакальнай размеркаванай памяці SRAM і ўсё гэта звязана ячэістай сеткай з агульнай прадукцыйнасцю 100 петабіт у секунду. Чып Cerebras ― гэта фактычна суперкамп’ютар на чыпе, дзе вылічальныя ядры SLAC (Sparse Linear Algebra Cores) ― цалкам праграмуемыя і могуць быць аптымізаваныя для працы з любымі нейроннымі сеткамі.
- KnuPath — працэсар кампаніі KnuEdge, прызначаны для працы ў сістэмах распазнання маўлення і іншых галінах машыннага навучання, ён выкарыстоўвае злучальную тэхналогію LambdaFabric і дазваляе аб’ядноўваць у адзіную сістэму да 512 тысяч працэсараў.
GPU-прадукты
[правіць | правіць зыходнік]
- Nvidia Tesla — серыя спецыялізаваных GPGPU-прадуктаў кампаніі Nvidia[10]:
- Nvidia Volta — графічныя працэсары (GPU) архітэктуры Volta (2017 год) кампаніі Nvidia (такія як Volta GV100), утрымліваюць да 640 спецыяльных ядраў для тэнзарных вылічэнняў[11].
- Nvidia Turing — графічныя працэсары архітэктуры Turing (2018 год) кампаніі Nvidia (такія як NVIDIA TU104), утрымліваюць да 576 спецыяльных ядраў для тэнзарных вылічэнняў[12].
- Nvidia DGX-1 — спецыялізаваны сервер, які складаецца з 2 цэнтральных працэсараў і 8 GPU Nvidia Volta GV100 (5120 тэнзарных ядраў), звязаных праз хуткую шыну NVLink[13]. Спецыялізаваная архітэктура памяці ў гэтай сістэмы з’яўляецца асабліва прыдатнай для пабудовы сетак глыбокага навучання[14][15].
- AMD Radeon Instinct — спецыялізаваная GPGPU — плата кампаніі AMD, прапанаваная як паскаральнік для задач глыбокага навучання[16][17].
ШІ-паскаральнікі ў выглядзе ўнутраных супрацэсараў (апаратных ШІ-блокаў)
[правіць | правіць зыходнік]
- Cambricon-1A — NPU-блок у ARM-чыпах Huawei Kirin 970, распрацаваны кампаніяй Cambricon Technologies.
- CEVA NeuPro — сямейства ліцэнзуемых ШІ-працэсараў для глыбокага навучання кампаніі CEVA, Inc..
- Neural Engine — ІІ-паскаральнік ўнутры ARM-чыпаў Apple A11 Bionic і A12 Bionic SoC[18].
- PowerVR 2nx NNA (Neural Network Accelerator) — сямейства ліцэнзуемых IP-модуляў для машыннага навучання кампаніі Imagination Technologies[19].
Навуковыя даследаванні і прадукты, якія распрацоўваюцца
[правіць | правіць зыходнік]- Індыйскі тэхналагічны інстытут у Мадрасе распрацоўвае паскаральнік на імпульсных нейронах для новых сістэм архітэктуры RISC-V, накіраваных на апрацоўку вялікіх даных на серверных сістэмах.
- Eyeriss — распрацоўка, накіравана на згорткавыя нейронныя сеткі з ужываннем блакнотнай памяці і сеткавай архітэктуры ў межах крышталя.
- Fujitsu DLU — шматблочны і шмат’ядравы супрацэсар кампаніі Fujitsu які выкарыстоўвае вылічэнні з нізкай дакладнасцю і прызначаны для глыбокага машыннага навучання.
- Intel Loihi — нейраморфны працэсар кампаніі Intel, які спалучае працэсы навучання, трэніроўкі і прыняцця рашэнняў у адным чыпе, дазваляючы сістэме быць аўтаномнай і «кемлівай» без падлучэння да воблака. Напрыклад, пры навучанні з дапамогай базы дадзеных MNIST (Mixed National Institute of Standards and Technology) працэсар Loihi аказваецца ў 1 млн разоў лепш, чым іншыя тыповыя спайкавыя нейронныя сеткі.
- Kalray — паказала MPPA і паведаміла аб павышэнні эфектыўнасці згорткавых нейронных сетак у параўнанні з GPU.
- SpiNNaker — масава-паралельная камп’ютарная архітэктура, якая спалучае ядры традыцыйнай ARM-архітэктуры з удасканаленай сеткавай структурай, спецыялізаванай для мадэлявання буйной нейроннай сеткі.
- Zeroth NPU — распрацоўка кампаніі Qualcomm, накіраваная непасрэдна на прыўнясенне магчымасцей распазнання размовы і малюнкаў у мабільныя прылады.
- IVA TPU — тэнзарны працэсар, над стварэннем якога працуе расійская кампанія Iva Technologies. У кастрычніку 2020 года былі апублікаваныя вынікі тэставання архітэктуры паскаральніка разліку нейронных сетак IVA TPU, праведзенага міжнародным кансорцыумам MLPerf (заснаваны ў 2018 годзе Baidu, Google, Harvard University, Stanford University, University of California, Berkeley).
Зноскі
- ↑ Нейропроцессор, устройство для вычисления функций насыщения, вычислительное устройство и сумматор (руск.). FindPatent.RU. Архівавана з першакрыніцы 1 снежня 2017. Праверана 17 лістапада 2017.
- ↑ IBM поставила LLNL нейропроцессоры TrueNorth за $1 млн (руск.). Компьютерра. (31 марта 2016). Архівавана з першакрыніцы 19 лістапада 2017. Праверана 17 лістапада 2017.
- ↑ Intel разрабатывает тензорные процессоры для ИИ (руск.). PC Week/RE. (22 ноября 2016). Архівавана з першакрыніцы 1 снежня 2017. Праверана 17 лістапада 2017.
- ↑ Подробности о тензорном сопроцессоре Google TPU (руск.). Servernews. (25 августа 2017). Архівавана з першакрыніцы 17 лістапада 2017. Праверана 17 лістапада 2017.
- ↑ Intel анонсировала процессор машинного зрения Movidius Myriad X (руск.). 3DNews. (29 августа 2017). Архівавана з першакрыніцы 17 лістапада 2017. Праверана 17 лістапада 2017.
- ↑ "Huawei создала первые в мире ИИ-процессоры, пойдя по пути разработчиков «Эльбрусов»". 23 октября 2018. Праверана 2018-10-24.
{{cite news}}: Праверце значэнне даты ў:|date=(даведка) - ↑ "Intel unveils purpose-built Neural Network Processor for deep learning". Tech Report. 17 октября 2017. Праверана 2017-11-17.
{{cite news}}: Праверце значэнне даты ў:|date=(даведка) - ↑ "Intel Nervana Neural Network Processors (NNP) Redefine AI Silicon". 17 октября 2017. Архівавана з арыгінала 20 кастрычніка 2017. Праверана 2017-11-17.
{{cite news}}: Праверце значэнне даты ў:|date=(даведка) Архіўная копія(недаступная спасылка). Архівавана з першакрыніцы 20 кастрычніка 2017. Праверана 26 лютага 2023.Архіўная копія(недаступная спасылка). Архівавана з першакрыніцы 20 кастрычніка 2017. Праверана 26 лютага 2023. - ↑ "Qualcomm представила ускоритель искусственного интеллекта Cloud AI 100". 10 апреля 2019. Праверана 2019-4-16.
{{cite news}}: Праверце значэнне даты ў:|accessdate=і|date=(даведка) - ↑ Computex: Глава Nvidia не видит угрозы в «тензорном» процессоре Google. «Открытые системы». (1 июня 2016). Архівавана з першакрыніцы 1 снежня 2017. Праверана 17 лістапада 2017.
- ↑ Популярность машинного обучения влияет на эволюцию архитектуры процессоров. Servernews. (31 августа 2017). Архівавана з першакрыніцы 17 лістапада 2017. Праверана 17 лістапада 2017.
- ↑ Что принесёт на рынок новая архитектура NVIDIA Turing?. 3DNews. (14 жніўня 2018). Архівавана з першакрыніцы 23 сакавіка 2019. Праверана 17 жніўня 2018.
- ↑ Эра NVIDIA Volta началась с ускорителя Tesla V100. Servernews. (11 мая 2017). Архівавана з першакрыніцы 1 снежня 2017. Праверана 17 лістапада 2017.
- ↑ GTC Europe 2017: библиотека NVIDIA TensoRT 3 ускоряет работу нейросетей в 18 раз по сравнению с универсальным решением. Servernews. (12 октября 2017). Архівавана з першакрыніцы 17 лістапада 2017. Праверана 17 лістапада 2017.
- ↑ Новый российский суперкомпьютер предназначен для обучения нейросетей. Servernews. (1 сентября 2017). Архівавана з першакрыніцы 17 лістапада 2017. Праверана 17 лістапада 2017.
- ↑ "AMD Announces Radeon Instinct: GPU Accelerators for Deep Learning, Coming in 2017". Anandtech. 12 декабря 2016. Праверана 12 December 2016.
{{cite news}}: Праверце значэнне даты ў:|date=(даведка) - ↑ "Radeon Instinct Machine Learning GPUs include Vega, Preview Performance". PC Per. 12 декабря 2016. Праверана 12 December 2016.
{{cite news}}: Праверце значэнне даты ў:|date=(даведка) - ↑ "The iPhone X's new neural engine exemplifies Apple's approach to AI".
- ↑ "Imagination представила новые ИИ-ускорители PowerVR 2NX".
Спасылкі
[правіць | правіць зыходнік]- Популярность машинного обучения влияет на эволюцию архитектуры процессоров (руск.). Servernews. (31 августа 2017). Праверана 17 лістапада 2017.