Кто первым придумал нейросеть: от первых моделей до современных ИИ

Введение: почему вопрос об авторе нейросети сложнее, чем кажется

Когда мы спрашиваем, кто придумал нейросеть, ожидаем услышать одно имя. Однако история искусственных нейронных сетей — это коллективное достижение, растянувшееся на восемь десятилетий. Нейросеть нельзя свести к одному изобретателю: она прошла путь от математической абстракции до технологий, которые сегодня пишут тексты, рисуют изображения и управляют автомобилями.

В этой статье мы проследим эволюцию нейросетей, начиная с первых моделей нейрона, созданных в 1940-х годах, и заканчивая современными архитектурами вроде GPT и Midjourney. Вы узнаете, какие ученые заложили фундамент, кто превратил идеи в работающие алгоритмы, и почему ответ на вопрос «кто придумал нейросеть» требует множества имен.

1943 год: Уоррен Маккаллок и Уолтер Питтс — первые шаги

Отправной точкой считается 1943 год, когда американский нейрофизиолог Уоррен Маккаллок и математик Уолтер Питтс опубликовали статью «A Logical Calculus of the Ideas Immanent in Nervous Activity». В ней они представили первую математическую модель искусственного нейрона, которая имитировала работу биологического нейрона.

Их модель была простой: нейрон мог находиться в двух состояниях — активен или неактивен — и обрабатывал входные сигналы через взвешенные коэффициенты. Несмотря на упрощенность, эта работа стала краеугольным камнем нейроинформатики. Маккаллок и Питтс показали, что искусственные нейроны могут объединяться в сети, способные выполнять логические операции, что заложило теоретическую основу для всех будущих разработок.

Важно отметить, что их идеи опирались на достижения нейрофизиологии и кибернетики того времени. Они вдохновлялись работами немецкого нейрофизиолога Варендорфа и других исследователей, изучавших структуру мозга. Однако именно Маккаллок и Питтс впервые перевели эти знания на язык математики, создав мост между биологией и вычислительной техникой.

1949 год: правило Хебба — как нейросети учатся

Следующий важный шаг сделал канадский психолог Дональд Хебб. В 1949 году он опубликовал книгу «The Organization of Behavior», где сформулировал принцип, который сегодня известен как правило Хебба: «Нейроны, которые активируются вместе, связываются вместе». Это правило описывает, как синаптические связи между нейронами укрепляются при их одновременной активации.

Правило Хебба стало основой для многих алгоритмов обучения нейросетей. Оно объясняет, как сеть может адаптироваться к данным без явного программирования: если два нейрона часто срабатывают одновременно, связь между ними усиливается, что позволяет сети выявлять закономерности.

Хотя сам Хебб не создавал компьютерных моделей, его идеи оказали огромное влияние на последующие разработки. Без правила Хебба невозможно представить ни перцептрон Розенблатта, ни современные алгоритмы глубокого обучения.

1957–1958 годы: Фрэнк Розенблатт и перцептрон — первая обучаемая нейросеть

Настоящий прорыв произошел в конце 1950-х годов, когда американский психолог и математик Фрэнк Розенблатт создал перцептрон — первую искусственную нейронную сеть, способную обучаться. В 1957 году он представил теоретическую модель, а в 1958 году построил физическое устройство «Марк-1», которое могло распознавать простые изображения.

Перцептрон был однослойной сетью: входные сигналы подавались на нейроны, которые взвешивали их и передавали на выход. Обучение происходило путем корректировки весов на основе ошибок — этот принцип стал предшественником современных методов обучения с учителем. Устройство «Марк-1» весило около пяти тонн и занимало целую комнату, но это была первая в мире работающая нейросеть.

Однако у перцептрона были серьезные ограничения. В 1969 году Марвин Минский и Сеймур Пейперт опубликовали книгу «Перцептроны», где доказали, что однослойные сети не могут решать задачи, требующие нелинейного разделения данных, например, задачу XOR. Это привело к так называемой «зиме ИИ» — периоду застоя в исследованиях нейросетей, который продлился более десяти лет.

1974–1986 годы: алгоритм обратного распространения ошибки — возрождение нейросетей

Ключевым моментом в истории нейросетей стало открытие алгоритма обратного распространения ошибки (backpropagation). Этот алгоритм позволяет обучать многослойные сети, корректируя веса связей на основе разницы между предсказанными и ожидаемыми значениями.

Первые идеи обратного распространения появились еще в 1974 году, когда американский психолог Пол Уржен (в некоторых источниках — Пол Уиртон) предложил этот метод. Однако широкую известность алгоритм получил в 1986 году, когда Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс опубликовали работу, демонстрирующую его эффективность для многослойных сетей.

Алгоритм работает в несколько этапов:

• Прямое распространение: входные данные проходят через сеть, и каждый нейрон вычисляет свое значение.
• Расчет ошибки: на выходном слое сравниваются предсказанные и ожидаемые значения.
• Обратное распространение: ошибка распространяется обратно через сеть, и веса корректируются с использованием градиентного спуска.
• Итерации: процесс повторяется множество раз, пока сеть не достигнет нужной точности.

Благодаря этому алгоритму нейросети стали способны решать сложные задачи, такие как распознавание образов и обработка естественного языка. Это стало основой для глубокого обучения, которое доминирует в современном ИИ.

1980–2010-е годы: сверточные сети, глубокое обучение и Тьюринговская премия

В 1980-х годах Ян Лекун, работавший в Bell Labs, разработал сверточные нейронные сети (CNN), которые произвели революцию в компьютерном зрении. Его работы привели к созданию базы данных MNIST для распознавания рукописных цифр, ставшей стандартом для тестирования алгоритмов.

Джеффри Хинтон, которого часто называют «крестным отцом глубокого обучения», продолжал развивать нейросети с 1970-х годов. В 2012 году его команда из Университета Торонто выиграла конкурс ImageNet, используя глубокую сверточную сеть, что стало поворотным моментом в признании глубокого обучения.

В 2018 году Хинтон, Ян Лекун и Йошуа Бенджио получили Тьюринговскую премию — самую престижную награду в области компьютерных наук — за вклад в развитие глубокого обучения. Бенджио из Университета Монреаля внес фундаментальный вклад в рекуррентные нейронные сети и обработку естественного языка.

В этот период также появились генеративно-состязательные сети (GAN), предложенные Яном Гудфеллоу в 2014 году. GAN состоят из двух сетей — генератора и дискриминатора, которые соревнуются друг с другом, что позволяет создавать реалистичные изображения и другие данные.

2017 год: архитектура трансформера — основа современных языковых моделей

В 2017 году команда Google под руководством Ашиша Васвани опубликовала статью «Attention Is All You Need», в которой представила архитектуру трансформера. Эта архитектура основана на механизме внимания (attention), который позволяет нейросети эффективно обрабатывать последовательности данных, такие как текст.

Трансформеры стали основой для всех современных больших языковых моделей, включая GPT. В отличие от рекуррентных сетей, которые обрабатывают данные последовательно, трансформеры могут обрабатывать все элементы последовательности параллельно, что значительно ускоряет обучение и улучшает качество.

Ключевые авторы статьи — Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Ушкорайт, Ллион Джонс, Айдан Гомес, Лукаш Кайзер и Илья Полосухин — создали механизм, который позволил нейросетям достичь невиданных результатов в обработке естественного языка. Без трансформеров невозможно представить ChatGPT, Midjourney и другие современные ИИ-системы.

Современные создатели: OpenAI, Midjourney и другие

Сегодня нейросети создаются не отдельными учеными, а командами исследователей и инженеров в технологических компаниях. Одним из самых известных примеров является ChatGPT, разработанный компанией OpenAI.

OpenAI была основана в 2015 году группой предпринимателей и исследователей, включая Сэма Альтмана, Илона Маска, Грега Брокмана, Илью Суцкевера и других. Ключевую роль в создании серии моделей GPT сыграл Алек Рэдфорд. Первая версия GPT вышла в 2018 году и содержала 117 миллионов параметров, а GPT-3 (2020) — уже 175 миллиардов. Обучение таких моделей требует огромных вычислительных ресурсов: по данным OpenAI, на обучение GPT-3 ушло несколько месяцев и тысячи GPU.

Midjourney, популярный генератор изображений, был создан Дэвидом Хольцем, предпринимателем и исследователем, ранее работавшим в Leap Motion. Хольц основал Midjourney Inc. в 2021 году в Сан-Франциско. Компания использует диффузионные модели, которые были разработаны в академических кругах, и держит многие технические детали в секрете. К концу 2023 года Midjourney обслуживала более 15 миллионов пользователей, генерируя свыше 2 миллионов изображений в день, при этом команда состояла из менее чем 20 человек.

Другие важные игроки: Google DeepMind (создатели AlphaGo и AlphaFold), Microsoft Research, Anthropic (создатели Claude) и Stability AI (создатели Stable Diffusion).

Развитие нейросетей в России и странах СНГ

Россия и страны СНГ также внесли вклад в развитие нейросетей. В советский период исследования в области кибернетики и искусственного интеллекта велись в академических институтах, таких как Институт проблем управления АН СССР. Однако из-за идеологических ограничений и недостатка вычислительных ресурсов развитие шло медленнее, чем на Западе.

В постсоветский период российские ученые активно участвуют в международных проектах. Например, Илья Суцкевер, один из сооснователей OpenAI, родился в России и эмигрировал в Канаду в детстве. Его работы в области глубокого обучения оказали огромное влияние на современный ИИ.

Сегодня в России и СНГ развиваются собственные нейросетевые проекты, такие как YandexGPT от Яндекса и GigaChat от Сбера. Эти модели основаны на архитектуре трансформера и адаптированы для работы с русским языком. Однако их развитие сталкивается с ограничениями в доступе к мощным GPU и данным, что делает конкуренцию с мировыми лидерами сложной.

Заключение: нейросети — коллективное достижение, которое продолжает развиваться

Итак, кто первым придумал нейросеть? Ответ — никто и все одновременно. Нейросети — это результат десятилетий работы сотен ученых, инженеров и предпринимателей. Начав с математической модели нейрона Маккаллока и Питтса, пройдя через перцептрон Розенблатта, алгоритм обратного распространения Хинтона и архитектуру трансформера Васвани, мы пришли к современным системам вроде ChatGPT и Midjourney.

Каждый этап развития был важен: без правила Хебба не было бы обучения, без перцептрона — первых практических применений, без обратного распространения — глубокого обучения, без трансформера — современных языковых моделей. Сегодня нейросети применяются в медицине, финансах, автомобильной промышленности, творчестве и многих других сферах.

Однако искусственный интеллект все еще далек от совершенства. Нейросети не понимают сарказм, эмоции и иносказания, и им требуется огромное количество данных для обучения. История нейросетей только начинается, и кто знает, какие прорывы ждут нас впереди.

Вопросы и ответы