Основным алгоритмом для обучения глубоких нейронных сетей является метод обратного распространения ошибки (Backpropagation). Данный метод позволил достичь существенной точности обучения глубоких нейронных сетей. Например, для компьютерного зрения, сверточные нейронные сети показывают уровень различных метрик качества распознавания, существенно превышающий усредненный человеческий уровень в 95% по определению образов и объектов.
Однако, метод Backpropagation содержит серьезный недостаток, не позволяющий применять его для обучения сверхбольших нейронных сетей: количество вычислений для обучения нейронных сетей, растет по степенной функции в зависимости от количества ячеек нейронной сети. Это происходит из-за итерационного характера обучения нейронных сетей. Таким образом, для обучения сверхбольших нейронных сетей размером с человеческий мозг, необходимо использовать другие методы, отличные от обратного распространения ошибки (Backpropagation), в которых зависимость количества вычислений от количества ячеек нейронных сетей будет представлять собой линейную математическую зависимость.
Подтверждением возможного существования таких методов и их эффективности являются устройство и принципы работы нейронов в человеческом мозгу. Сигналы через нейронную клетку человеческого мозга проходят через дендриты и аксон и распространяются в одном направлении, таким образом подтверждая, что линейные математические зависимости количества вычислений для обучения искусственных нейронных сетей от количества ячеек возможны. Таким образом, современные методы обучения искусственных нейронных сетей не совпадают с принципами обучения человеческого мозга, и существует высокая теоретическая возможность найти замену Backpropagation.
Научные исследования в поисках замены Backpropagation ведутся во всем мире несколько лет и отражены в нескольких научных статьях, в частности (открытый список):
— Manneschi, L. and Vasilaki, E., 2020. An alternative to backpropagation through time. Nature Machine Intelligence, 2 (3), pp.155—156.
— Bellec, G., Scherr, F., Hajek, E., Salaj, D., Legenstein, R. and Maass, W., 2019. Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets. arXiv preprint arXiv:1901.09049.
— Chung, S., 2020. An Alternative to Backpropagation in Deep Reinforcement Learning. arXiv preprint arXiv:2010.07893.
— Norsigian, C.J., Pedersen, J., Ramesh, V. and Mostafa, H., Neuron Selectivity as a Biologically Plausible Alternative to Backpropagation.
— Tallec, C. and Ollivier, Y., 2017. Unbiased online recurrent optimization. arXiv preprint arXiv:1702.05043.
— Ma, W.D.K., Lewis, J.P. and Kleijn, W.B., 2020, April. The HSIC bottleneck: Deep learning without back-propagation. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 34, No. 04, pp. 5085—5092).
Наука о данных (Data Science) — это процессы и методы извлечения знаний и идей из больших объемов разрозненных данных. Являясь междисциплинарной областью, она включает математику, статистический анализ, визуализацию данных, машинное обучение и многое другое. Наука о данных позволяет нам анализировать информацию, видеть закономерности, находить смысл в больших объемах данных и использовать их для принятия решений, или, как я часто говорю, получать «ценность» или «знания» из данных. Наука о данных может использовать разные методы искусственного интеллекта для анализа данных.
Глубокое обучение (deep learning) — это специализированное подмножество машинного обучения, которое использует многоуровневые нейронные сети для имитации принятия решений человеком, путем извлечения знаний из необработанных данных и их преобразования на каждом уровне. Эти уровни постепенно получают функции более высокого уровня из необработанных данных, что позволяет решать сложные проблемы с более высокой точностью, меньшим количеством функций и меньшей ручной настройкой. Алгоритмы глубокого обучения могут маркировать и категоризировать информацию и определять закономерности. Это то, что позволяет системам ИИ постоянно учиться на работе и улучшать качество и точность результатов, определяя, были ли решения правильными.
Глубокое обучение (deep learning) — это специализированное подмножество машинного обучения, которое использует многоуровневые нейронные сети для имитации принятия решений человеком, путем извлечения знаний из необработанных данных и их преобразования на каждом уровне. Эти уровни постепенно получают функции более высокого уровня из необработанных данных, что позволяет решать сложные проблемы с более высокой точностью, меньшим количеством функций и меньшей ручной настройкой. Алгоритмы глубокого обучения могут маркировать и категоризировать информацию и определять закономерности. Это то, что позволяет системам ИИ постоянно учиться на работе и улучшать качество и точность результатов, определяя, были ли решения правильными.
Нейронная сеть (artificial neural networks) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Также, под нейронной сетью понимают набор небольших вычислительных единиц, называемых нейронами, которые принимают входящие данные и учатся принимать решения с течением времени. Нейронные сети часто имеют многоуровневую структуру и являются причиной того, что алгоритмы глубокого обучения становятся более эффективными по мере увеличения объема наборов данных, в отличие от других алгоритмов машинного обучения, которые по мере увеличения объема данных могут выйти на плато.
Машинное обучение (machine learning) — это подмножество искусственного интеллекта, которое использует компьютерные алгоритмы для анализа данных и принятия разумных решений на основе полученных знаний без явного программирования. Алгоритмы машинного обучения обучаются на больших наборах данных и учатся на примерах. Они не следуют алгоритмам, основанным на правилах. Машинное обучение — это то, что позволяет машинам самостоятельно решать проблемы и делать точные прогнозы, используя предоставленные данные.
Искусственный интеллект (artificial intelligence), с одной стороны, - это уже целая отрасль компьютерных наук, занимающаяся моделированием интеллектуального поведения, с другой – это компьютерная система, основанная на комплексе научных и инженерных знаний, а также технологий создания интеллектуальных машин, программ, сервисов и приложений (например, машинного обучения и глубокого обучения), имитирующая мыслительные процессы человека или живых существ, способная с определенной степенью автономности воспринимать информацию, обучаться и принимать решения на основе анализа больших массивов данных, целью создания которой является помощь людям в решении их повседневных рутинных задач. .
Постарайтесь почаще смотреть вверх на звезды, а не себе под ноги. Попытайтесь понять, что вы видите, не переставайте задаваться вопросами о том, что определяет существование нашей Вселенной. Будьте любознательными. И какой бы сложной не казалась жизнь, всегда есть что-то, что вы можете сделать и в чем преуспеть. Самое главное — просто не сдаваться.
— Британский физик-теоретик Стивен Хокинг
Наш с вами мозг и нервная система — это суперкомпьютер со своей системой интерфейсов. За обработку информации в нашем мозге отвечают порядка 86—100 млрд нейронов (нейронных клеток), которые меняют свое состояние до 50 раз в сек. Число возможных состояний нашего мозга = 10 1 000 000 (количество возможных комбинаций возбуждения или торможения нейронов), тогда как количество атомов во Вселенной = 10 80.
Кроме того, на сегодняшний день никто не может дать ответ на вопрос сколько экзабайт (1018) или йоттабайт (1024) данных и в какой форме хранится в нашем мозге.
Исходя из этих скромных данных, мы можем сделать вывод первый — появление настоящего искусственного интеллекта возможно лишь тогда, когда человечество создаст квантовый компьютер, сопоставимый по своим вычислительным мощностям с нашим мозгом, и вывод второй — полноценное «цифровое человеческое бессмертие» возможно лишь тогда, когда будут созданы квантовые носители информации.
В дополнение рекомендую следующие курсы на edX от Гарвардского университета:
— CS50’s Introduction to Computer Science.
— CS50’s Introduction to Artificial Intelligence with Python.
— CS50’s Computer Science for Business Professionals
