Сегодня 21 октября 2024
Нейроморфные вычислители: прямая дорога к сильному ИИ?
Машины, основанные на принципах фон Неймана, обладают широкими возможностями для эмуляции разнообразных процессов, включая вычислительные задачи, выполняемые системами с другой архитектурой. С увеличением плотности транзисторов на единице площади фоннеймановских компьютеров возрастает их эффективность при эмуляции вычислительных средств другой природы. Искусственные нейроны, такие как перцептроны, могут быть реализованы на полупроводниковой базе, но значительно эффективнее оказывается создание многослойных нейронных сетей в памяти фоннеймановских серверов или ПК.
Эти рассуждения были актуальны до начала бурного всплеска интереса к генеративному ИИ, который начался осенью 2022 года и продолжает оставаться в центре внимания.
Согласно оценкам Международного энергетического агентства, в 2026 году глобальное потребление энергии центрами обработки данных удвоится по сравнению с 2022 годом, достигнув 2% от общего объёма выработанной энергии. Конечно, не все эти энергии будут направлены на питание ИИ-серверов, однако вклад в обучение и выполнение моделей ИИ значителен. Например, Microsoft заключила долгосрочный контракт на поставку электроэнергии с одной из атомных электростанций, а AWS активно развивает направление малых модульных реакторов, стремясь обеспечить доступ к дешёвой энергии для ИИ-ЦОДов.
По оценке The Economist, тренировка одной модели GPT-4 потребовала более 50 ГВт·ч, что составляет примерно 0,02% потребления энергии штата Калифорния и в 50 раз больше, чем для модели GPT-3. Эксперты опасаются, что быстрое развитие ИИ может привести к энергетическому кризису, так как серверы, ориентированные на выполнение ИИ-задач, потребляют значительно больше энергии, чем классические серверы. Однако остановить генерирование контента на данный момент невозможно, несмотря на снижение спекулятивной активности вокруг ИИ.
Разработчики и пользователи ИИ сталкиваются с дилеммой: необходимо демонстрировать экономическую целесообразность внедрения ИИ, но высокие энергозатраты ставят это под сомнение. Это напоминает ситуацию с разработкой автоматического оружия в эпоху Возрождения: даже если бы да Винчи смог создать пулемёт, экономические предпосылки его массового производства отсутствовали.
Современные ИИ-системы имеют высокие энергетические потребности, что указывает на несоответствие нейроморфных вычислений и используемой аппаратной базы. Полупроводниковые вычислительные средства имеют низкую энергоэффективность, и это выражается в значительном потреблении энергии на работу серверов и их охлаждение. В то же время человеческий мозг, выполняя аналогичные задачи, тратит значительно меньше энергии.
Физические препятствия для повышения энергоэффективности нейроморфных вычислений отсутствуют. Исследователи предлагают использовать фотонику для решения задач машинного обучения. Например, учёные из пекинского университета Цинхуа представили микрочип Taichi, созданный по принципам фотоники, который способен обеспечивать работу нейросети с высокой точностью распознавания. Этот чип, как утверждают разработчики, в тысячу раз эффективнее по сравнению с традиционными полупроводниковыми вычислителями.
В практическом плане с Taichi возникают сложности, и подобные технологии пока не могут полностью заменить полупроводниковые микропроцессоры для сложных ИИ-вычислений. Чип эффективно решает классические задачи, но для его работы требуется дополнительное оборудование, что увеличивает энергоёмкость.
Прежде чем перейти к практическим реализациям нейроморфных вычислителей, стоит упомянуть о биологических нейросетях. Каждая клетка, включая нервные, имеет мембрану, которая создает различия в физико-химических свойствах внутреннего и внешнего пространства. Это приводит к появлению стабильной разности потенциалов, необходимой для передачи нервных импульсов.
Процесс распространения возбуждения по мембране, известный как потенциал действия, является ключевым для передачи информации в нервных клетках. В нейроморфных системах потенциал действия возникает при достижении определённого уровня деполяризации мембраны. Закон «всё или ничего» в нейрофизиологии лег в основу импульсных нейронных сетей, которые обрабатывают последовательности импульсов.
Импульсные нейронные сети имеют свои преимущества, особенно в имитации биологических структур. В отличие от классических нейронных сетей, они обрабатывают дискретные сигналы и могут более эффективно моделировать работу мозга.
Полупроводники не сдаются: исследования продолжаются, и новые методы, такие как использование эффекта межзонного туннелирования для создания импульсных нейронных сетей, предлагают новые пути развития. Индийские исследователи продемонстрировали, что такие системы могут быть значительно более энергоэффективными, что открывает перспективы для дальнейших исследований.
Нейроморфные вычисления имеют свои проблемы, включая ограниченную область применения, но они обещают значительный прогресс в области искусственного интеллекта и нейронных технологий. В будущем они могут стать основой для создания более эффективных и универсальных систем, способных решать сложные задачи, включая имитацию работы человеческого мозга.