Что это
Искусственный нейрон похож на маленькое жюри: каждый судья поднимает табличку, но голос одних весит больше, чем голос других, и решение «да» принимается, только если сумма голосов перевесила. Нейросеть — это много таких жюри, соединённых слоями: одни замечают простые признаки, а другие собирают из них окончательный ответ.
Зачем это нужно
Нейросети стоят за распознаванием речи в голосовых помощниках, за переводчиками, за зрением роботов и беспилотников и за чат-ботами вроде Чат-Джи-Пи-Ти. Чтобы их обучать, строят огромные дата-центры на тысячах видеочипов Нвидиа, а инженеры придумывают специальные чипы, которые умножают веса быстрее и тратят меньше энергии. Сеть может выдать уверенную ерунду, и только человек, понимающий, как веса превращают входы в ответ, способен найти причину, исправить данные и решить, можно ли доверять результату. Такие люди нужны и в науке, и в медицине, и в разработке роботов и чипов.
Как это работает
Нейрон берёт входы, умножает каждый на свой вес, складывает, добавляет смещение и смотрит: если сумма больше нуля, выдаёт единицу, иначе — ноль. Один нейрон умеет провести на плоскости только одну прямую, поэтому задача, где ответы нельзя разделить одной чертой, ему не по силам — например, исключающее ИЛИ, которое даёт единицу, только когда ровно один вход равен единице. Помогает скрытый слой: два нейрона становятся детекторами простых признаков, а выходной нейрон собирает из их мнений окончательный ответ. В настоящих сетях весов миллиарды, и подбирает их алгоритм обучения — обратное распространение ошибки — на огромных наборах данных.
Немного истории
Первую математическую модель нейрона предложили в 1943 году нейрофизиолог Уоррен Мак-Каллок и логик Уолтер Питтс. А в 1969 году Марвин Минский и Сеймур Пейперт в книге «Перцептроны» строго показали, что один слой нейронов не может решить исключающее ИЛИ, и интерес к нейросетям надолго остыл. Вернулся он, когда научились обучать сети со скрытыми слоями.
Формула: выход нейрона
Формула повторяет то, что делает нейрон: собирает входы с учётом их важности и принимает решение. Читаем: сигма равна дубль-вэ один, умноженное на икс один, плюс дубль-вэ два, умноженное на икс два, плюс бэ; а выход игрек равен единице, если сигма больше нуля, и нулю во всех остальных случаях. Иксы — это входы, у нас нули и единицы; дубль-вэ — веса, то есть насколько важен каждый вход; бэ — смещение, которое задаёт, насколько легко нейрону сработать; все эти числа безразмерные. Если увеличить вес какого-то входа, он сильнее тянет сумму вверх. А если сделать смещение сильно отрицательным, нейрону понадобится больше единиц на входах, чтобы ответить единицей, — он станет строже.
Σ = w₁·x₁ + w₂·x₂ + bΣ — взвешенная сумма, —
w₁, w₂ — веса входов, —
x₁, x₂ — входы (0 или 1), —
b — смещение, —y = 1, если Σ > 0; иначе y = 0y — выход нейрона, —
Σ — взвешенная сумма, —
Что будем делать на практике
А теперь давай попробуем выполнить практическое задание. Перед тобой сеть из трёх нейронов: два скрытых, аш один и аш два, получают оба входа, а выходной нейрон игрек смотрит на их ответы; рядом таблица из четырёх строк — все сочетания входов. Сейчас все три нейрона настроены одинаково, и сеть верна в трёх строках из четырёх, а на входе «один-один» отвечает единицей вместо нуля. Твоя задача — поменять веса и смещения так, чтобы сеть решала исключающее ИЛИ и совпали все четыре строки. Подумай, какую логическую функцию сейчас считает аш один, что стоило бы поручить аш два и чем исключающее ИЛИ отличается от обычного ИЛИ, а после каждого изменения смотри в таблицу. Если что-то осталось непонятным — ничего страшного, спроси меня о чём угодно, я отвечу. Не переживай.