Онлайн-школа Образовательного центра «Сириус» запустила курс по искусственному интеллекту «Обучение с подкреплением». Он состоит из двух частей: теоретической и практической. В рамках первого практического курса по ИИ ученики смогут создать реальные модели машинного обучения.
«Обучение с подкреплением» – раздел искусственного интеллекта, в котором модель машинного обучения (агент) учится решать задачи, взаимодействуя с окружающей средой и получая за это награды. Если совсем просто, это напоминает дрессировку собак: если те правильно выполняют команду, то получают угощение. Животные, желая увеличить число лакомств, стараются освоить новые навыки. Именно так роботы обучаются ходить и переносить вещи, программа AlphaZero – играть в шахматы, а современные языковые модели – лучше понимать, что от них нужно людям.
«Обучение с подкреплением» продолжает линейку курсов онлайн-школы по ИИ. В теоретических модулях слушатели узнают об основных методах и подходах «Обучения с подкреплением». Для их освоения нужно быть знакомым с теорией вероятностей. В практических модулях ученики реализуют изученные методы на языке Python.
Первые два модуля вспомогательные. В модуле «Библиотека NumPy» слушатели познакомятся с библиотекой, предназначенной для продвинутой работы с многомерными массивами, а в модуле «Вероятностное моделирование на Python» узнают, как реализовать на популярном языке программирования основные понятия теории вероятностей и как проводить вероятностные эксперименты.
Модуль «Создание среды и агента» научит реализовывать среду и агента, в нем ученики зададут стратегию агента самостоятельно. А в модуле «Метод Монте-Карло. Практика» слушатели обучат своих первых агентов решать модельные задачи: например, ходить по ледяному полю.
«Специалисты в этой области пользуются теми же идеями и алгоритмами, которые мы обсуждаем на курсе. Разница в том, что в реальной практике очень много компьютерной инженерии, потому что используются большие модели, требуются гигантские вычислительные ресурсы, а обучать модели нужно параллельно на тысячах видеокарт или специальных процессорах. Об инженерии мы в курсе не говорим, но с математической точки зрения все остальное идентично», – отметил автор курса, старший научный сотрудник ПОМИ РАН, доцент ФМКН СПбГУ, Head of AI компании Synthesis AI Сергей Николенко.
Последние модули посвящены глубокому обучению с помощью нейронных сетей и дадут ребятам понимание, какие проблемы могут перед ними возникнуть и как их можно решать. Курс даст хорошую базу, чтобы продолжить развиваться в этой теме самостоятельно.
«Курс – это хорошая возможность самому реализовать алгоритм, который позволит управлять небольшой моделью машинного обучения. В его рамках слушатели не встретят готовых решений, где нужно будет нажать одну кнопку. Они досконально изучат, как выглядит процесс обучения модели на каждом шаге, и получат осязаемый результат. Потраченные время и силы окупятся сторицей. Осознание того, что происходит на курсе, даст неплохое понимание многих аспектов машинного обучения в будущем», – рассказал автор курса, младший научный сотрудник Санкт-Петербургского отделения Математического института имени В. А. Стеклова РАН Максим Николаев.
«Сириус» реализует обучение школьников в рамках федерального проекта «Искусственный интеллект» нацпроекта «Цифровая экономика». Ученикам 7–11-х классов доступны бесплатные онлайн-курсы, которые помогут познакомиться с ИИ-технологиями, выбрать направления развития, выстроить собственную траекторию обучения и создать свой проект.
