Основным алгоритмом для обучения глубоких нейронных сетей является метод обратного распространения ошибки (Backpropagation). Данный метод позволил достичь существенной точности обучения глубоких нейронных сетей. Например, для компьютерного зрения, сверточные нейронные сети показывают уровень различных метрик качества распознавания, существенно превышающий усредненный человеческий уровень в 95% по определению образов и объектов.
Однако, метод Backpropagation содержит серьезный недостаток, не позволяющий применять его для обучения сверхбольших нейронных сетей: количество вычислений для обучения нейронных сетей, растет по степенной функции в зависимости от количества ячеек нейронной сети. Это происходит из-за итерационного характера обучения нейронных сетей. Таким образом, для обучения сверхбольших нейронных сетей размером с человеческий мозг, необходимо использовать другие методы, отличные от обратного распространения ошибки (Backpropagation), в которых зависимость количества вычислений от количества ячеек нейронных сетей будет представлять собой линейную математическую зависимость.
Подтверждением возможного существования таких методов и их эффективности являются устройство и принципы работы нейронов в человеческом мозгу. Сигналы через нейронную клетку человеческого мозга проходят через дендриты и аксон и распространяются в одном направлении, таким образом подтверждая, что линейные математические зависимости количества вычислений для обучения искусственных нейронных сетей от количества ячеек возможны. Таким образом, современные методы обучения искусственных нейронных сетей не совпадают с принципами обучения человеческого мозга, и существует высокая теоретическая возможность найти замену Backpropagation.
Научные исследования в поисках замены Backpropagation ведутся во всем мире несколько лет и отражены в нескольких научных статьях, в частности (открытый список):
— Manneschi, L. and Vasilaki, E., 2020. An alternative to backpropagation through time. Nature Machine Intelligence, 2 (3), pp.155—156.
— Bellec, G., Scherr, F., Hajek, E., Salaj, D., Legenstein, R. and Maass, W., 2019. Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets. arXiv preprint arXiv:1901.09049.
— Chung, S., 2020. An Alternative to Backpropagation in Deep Reinforcement Learning. arXiv preprint arXiv:2010.07893.
— Norsigian, C.J., Pedersen, J., Ramesh, V. and Mostafa, H., Neuron Selectivity as a Biologically Plausible Alternative to Backpropagation.
— Tallec, C. and Ollivier, Y., 2017. Unbiased online recurrent optimization. arXiv preprint arXiv:1702.05043.
— Ma, W.D.K., Lewis, J.P. and Kleijn, W.B., 2020, April. The HSIC bottleneck: Deep learning without back-propagation. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 34, No. 04, pp. 5085—5092).
Наука о данных (Data Science) — это процессы и методы извлечения знаний и идей из больших объемов разрозненных данных. Являясь междисциплинарной областью, она включает математику, статистический анализ, визуализацию данных, машинное обучение и многое другое. Наука о данных позволяет нам анализировать информацию, видеть закономерности, находить смысл в больших объемах данных и использовать их для принятия решений, или, как я часто говорю, получать «ценность» или «знания» из данных. Наука о данных может использовать разные методы искусственного интеллекта для анализа данных.
Глубокое обучение (deep learning) — это специализированное подмножество машинного обучения, которое использует многоуровневые нейронные сети для имитации принятия решений человеком, путем извлечения знаний из необработанных данных и их преобразования на каждом уровне. Эти уровни постепенно получают функции более высокого уровня из необработанных данных, что позволяет решать сложные проблемы с более высокой точностью, меньшим количеством функций и меньшей ручной настройкой. Алгоритмы глубокого обучения могут маркировать и категоризировать информацию и определять закономерности. Это то, что позволяет системам ИИ постоянно учиться на работе и улучшать качество и точность результатов, определяя, были ли решения правильными.
