Для того, чтобы иметь возможность обучать и использовать искусственные нейронные сети за приемлемое для этого время, специалисты, работающие в данном направлении, нуждаются в специализированных электронных и вычислительных устройствах. В последние годы множество исследовательских групп пытались создать подобные устройства, используя совершенно различные подходы, и, благодаря этим усилиям в настоящее время существует множество различных типов тензорных процессоров, процессоров, имеющих нейроморфную архитектуру, работа которых подражает работе головного мозга.
"Проводя наши исследования, мы изучили практически все виды существующих тензорных процессоров" - пишут исследователи из института Макса Планка, Германия, - "Часть из этих процессоров построена на базе чисто цифровой архитектуры, другие представляют собой смешанные аналогово-цифровые устройства, третьи основаны на использовании мемристоров, и только очень немногие используют в качестве активных элементов так называемые мемконденсаторы (memcapacitor), электрические конденсаторы с эффектом памяти".
Такое положение дел обусловлено, что существующие виды реализации мемконденсаторов еще очень далеки от совершенства, они сами по себе имеют очень узкий динамический диапазон, а системы на их основе с трудом поддаются масштабированию. "Однако, нейроморфные устройства на базе мемконденсаторов должны быть более энергосберегающими, чем их аналоги на тех же мемристорах" - пишут исследователи, - "Основой их работы является уровень электрического поля, а не сила электрического тока, а отношение сигнал/шум всегда выше для первого случая".
Дальнейшие свои исследования ученые из Германии направили на поиски методов, которые позволят сделать мемконденсаторы более практичными и удобными для использования в нейроморфных вычислениях. И скорее такой метод был найден, а называется он изоляцией электрического заряда. Устройство, созданное исследователями, позволяет управлять уровнем сцепления электрического поля управляющего электрода (затвора) и нижнего электрода емкостной ячейки памяти при помощи еще одного слоя в структуре ячейки, называемого защитным слоем. И именно этот слой является своего рода активным элементом аналоговой ячейки памяти, способной запоминать уровень сигнала, другими словами, хранить различные значения, что широко используется в искусственных нейронных сетях.
Для проверки работы мемконденсаторов исследователи сделали чип, содержащий 156 таких устройств, и обучили эту примитивную нейронную сеть распознавать три буквы латинского алфавита ("M", "P" и "I"). В работе такая архитектура продемонстрировала эффективность в 3 500 тензорных операций на Ватт при 8-битной точности, что в 35 - 300 раз превосходит аналогичный показатель для подобных устройств на базе мемристоров. И это уже сейчас позволяет рассчитывать на то, что новый подход с использованием мемконденсаторов станет в ближайшем будущем основой систем управления большими и сложными нейронными сетями с миллиардами параметров и крайне низким энергопортеблением.
В настоящее времени разработчики данной технологии уже основали стартап под названием SEMRON, представители которого подали несколько патентных заявок, связанных с технологиями глубинного машинного обучения, распознавания речи и изображений. А в ближайшем будущем уже специалисты компании-стартапа будут работать над улучшением эффективности мемконденсаторов и увеличением плотности их размещения на кристалле чипа, что позволит в будущем создавать мощные, но миниатюрные нейроморфные системы, которые в свою очередь, можно будет встраивать прямо в миниатюрные электронные устройства, к примеру, в наушники-вкладыши.
