Модель описывает нейронную цепь, состоящую из массива входных нейронов и эквивалентного количества выходных нейронов. Схема выполняет то, что нейробиологи называют операцией «победитель получает все», при которой сигналы от нескольких входных нейронов вызывают сигнал только в одном выходном нейроне.Используя инструменты теоретической информатики, исследователи доказывают, что в контексте их модели определенная конфигурация тормозных нейронов обеспечивает наиболее эффективные средства проведения операции «победитель получает все». Поскольку модель делает эмпирические прогнозы о поведении тормозных нейронов в головном мозге, она предлагает хороший пример того, как вычислительный анализ может помочь нейробиологии.
На этой неделе исследователи представят свои результаты на конференции «Инновации в теоретической информатике». Нэнси Линч, профессор программных наук и инженерии NEC Массачусетского технологического института, является старшим автором статьи.
К ней присоединились Мерав Партер, постдок в ее группе, и Кэмерон Муско, аспирант Массачусетского технологического института в области электротехники и информатики.В течение многих лет группа Линча изучала коммуникацию и распределение ресурсов в специальных сетях — сетях, участники которых постоянно уходят и снова присоединяются. Но недавно команда начала использовать инструменты сетевого анализа для исследования биологических явлений.«Существует тесное соответствие между поведением сетей компьютеров или других устройств, таких как мобильные телефоны, и поведением биологических систем», — говорит Линч. «Мы пытаемся найти проблемы, которые могут выиграть от перспективы распределенных вычислений, уделяя особое внимание алгоритмам, для которых мы можем доказать математические свойства».
Искусственная неврологияВ последние годы искусственные нейронные сети — компьютерные модели, примерно основанные на структуре мозга — были ответственны за некоторые из самых быстрых улучшений в системах искусственного интеллекта, от транскрипции речи до программного обеспечения для распознавания лиц.Искусственная нейронная сеть состоит из «узлов», которые, как и отдельные нейроны, имеют ограниченную мощность обработки информации, но плотно связаны между собой. Данные поступают в первый уровень узлов.
Если данные, полученные данным узлом, соответствуют некоторому пороговому критерию — например, если они превышают определенное значение, — узел «срабатывает» или отправляет сигналы по всем своим исходящим соединениям.Однако каждое из этих исходящих соединений имеет связанный «вес», который может увеличивать или уменьшать сигнал. Каждый узел следующего уровня сети принимает взвешенные сигналы от множества узлов первого уровня; он складывает их вместе и снова, если их сумма превышает некоторый порог, срабатывает. Его исходящие сигналы переходят на следующий уровень и так далее.
В приложениях искусственного интеллекта нейронная сеть «обучается» на выборочных данных, постоянно корректируя свои веса и пороги срабатывания, пока выходные данные ее последнего слоя не будут последовательно представлять решение некоторой вычислительной проблемы.Биологическое правдоподобие
Линч, Партер и Муско внесли в эту конструкцию несколько модификаций, чтобы сделать ее более приемлемой с биологической точки зрения. Первым было добавление тормозных «нейронов». В стандартной искусственной нейронной сети значения весов соединений обычно положительны или могут быть как положительными, так и отрицательными.
Но в головном мозге некоторые нейроны, по-видимому, играют исключительно тормозящую роль, предотвращая срабатывание других нейронов. Исследователи из Массачусетского технологического института смоделировали эти нейроны как узлы, связи которых имеют только отрицательные веса.Многие приложения искусственного интеллекта также используют сети с прямой связью, в которых сигналы проходят через сеть только в одном направлении, от первого уровня, который принимает входные данные, до последнего уровня, который предоставляет результат вычислений. Но связи в мозгу намного сложнее.
Таким образом, схема Линча, Партера и Маско включает в себя обратную связь: сигналы от выходных нейронов проходят к тормозным нейронам, выход которых, в свою очередь, возвращается к выходным нейронам. Сигналы выходных нейронов также имеют обратную связь, что оказывается важным для реализации стратегии «победитель получает все».Наконец, сеть исследователей Массачусетского технологического института является вероятностной. В типичной искусственной нейронной сети, если входные значения узла превышают некоторый порог, узел срабатывает.
Но в мозгу увеличение силы сигнала, проходящего по входному нейрону, только увеличивает шансы срабатывания выходного нейрона. То же самое и с узлами в модели исследователей. Опять же, эта модификация имеет решающее значение для реализации стратегии «победитель получает все».В модели исследователей количество входных и выходных нейронов фиксировано, и выполнение вычисления «победитель получает все» является исключительно работой банка вспомогательных нейронов. «Мы пытаемся найти компромисс между временем вычислений для решения данной проблемы и количеством вспомогательных нейронов», — объясняет Партер. «Мы считаем нейроны ресурсом; мы не хотим слишком много его тратить».
Достоинства торможенияПартер и ее коллеги смогли показать, что имея только один тормозящий нейрон, в контексте их модели невозможно реализовать стратегию «победитель получает все».
Но двух тормозных нейронов достаточно. Хитрость заключается в том, что один из тормозных нейронов, который исследователи называют нейроном конвергенции, посылает сильный тормозной сигнал, если срабатывает более одного выходного нейрона.
Другой тормозящий нейрон — нейрон стабильности — посылает гораздо более слабый сигнал, пока активны какие-либо выходные нейроны.Нейрон конвергенции заставляет схему выбирать единственный выходной нейрон, после чего он прекращает работу; нейрон стабильности предотвращает активацию второго выходного нейрона после того, как нейрон конвергенции был выключен. Цепи обратной связи от выходных нейронов усиливают этот эффект.
Чем дольше выходной нейрон был выключен, тем больше вероятность, что он останется выключенным; чем дольше он был включен, тем больше вероятность, что он останется включенным. После того, как выбран единственный выходной нейрон, его схема с обратной связью гарантирует, что он сможет преодолеть ингибирование нейрона стабильности.Однако без случайности схема не будет сходиться к одному выходному нейрону: любая установка весов тормозящих нейронов будет одинаково влиять на все выходные нейроны. «Чтобы нарушить симметрию, нужна случайность», — объясняет Партер.Исследователи смогли определить минимальное количество вспомогательных нейронов, необходимое для обеспечения определенной скорости сходимости, и максимальную возможную скорость сходимости при определенном количестве вспомогательных нейронов.
Добавление большего количества нейронов конвергенции увеличивает скорость конвергенции, но только до определенного предела. Например, для 100 входных нейронов два или три нейрона конвергенции — это все, что вам нужно; добавление четвертого не повышает эффективность. И всего один нейрон устойчивости уже оптимален.Но, возможно, более интригующе то, что исследователи показали, что включение возбуждающих нейронов — нейронов, которые стимулируют, а не подавляют возбуждение других нейронов, — а также тормозных нейронов среди вспомогательных нейронов не может повысить эффективность цепи.
Точно так же любое расположение тормозных нейронов, при котором не наблюдается различия между нейронами конвергенции и стабильности, будет менее эффективным, чем такое расположение.Таким образом, предполагая, что эволюция стремится найти эффективные решения инженерных проблем, модель предлагает как ответ на вопрос, почему тормозные нейроны обнаруживаются в головном мозге, так и дразнящий вопрос для эмпирических исследований: демонстрируют ли реальные тормозные нейроны такое же разделение между конвергенция нейронов и нейронов стабильности?