💯 Нейронные сети.ои(sa) (ответы на тест Синергия / МОИ / МТИ / МосАП, ноябрь 2023) (Решение → 89359)

Основы нейронных сетей > Нейронные сети

• правильные ответы на все вопросы из теста по данной дисциплине
• вопросы отсортированы в лексикографическом порядке

1. Введение в нейронные сети
2. Полносвязные нейронные сети
3. Элементы теории оптимизации
4. Обучение нейронных сетей
5. Сверточные нейронные сети
6. Рекуррентные нейронные сети. 1 Часть
7. Рекуррентные нейронные сети. 2 Часть
8. Tips and Tricks
9. Pytorch
10. Векторные представления слов
11. Нейронные сети-трансформеры

Алгоритм Backpropagation:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Состоит в случайном подборе весов модели до тех пор, пока не будет достигнут оптимальный набор параметров, минимизирующий ошибку
• Используется только для оптимизации полносвязных нейросетей
• Последовательном вычислении градиентов по весам модели, начиная с последнего слоя, по предактивациям соответствующего слоя и градиентам по весам следующего

Архитектура полносвязной нейронные сети основана на идее

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• обобщения низкоуровневых признаков и генерирования на их основе более высокоуровневых
• Построения разделяющей гиперплоскости
• Минимизации лосс-функции без использования градиентных методов

Все описанные в лекции алгоритмы обладают общим свойством. Каким?

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Для всех требуется вычисление матрицы Гессе оптимизируемой функции
• Для всех требуется вычисление градиентов оптимизированной функции
• Для всех требуется подсчет значения оптимизируемой функции в данной точке

Градиентные методы оптимизации

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Представляют собой итерационные алгоритмы
• Аналитически ищут решение задачи оптимизации
• Вопреки названию, не используют градиенты

Задача классификации – это задача

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Обучения с учителем
• Обучения без учителя
• Обучения с подкреплением

Задачу машинного обучения можно представить в виде последовательности выполнения действий по выбору оптимальной решающей функции f из многопараметрического семейства F. Задача обучения сводится к задаче оптимизации на этапе:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Выбора семейства F
• Оценки качества выбранной функции f из семейства F
• Поиска наилучшей функции из семейства F

Идея Momentum состоит в:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Вычислении градиента в точке, к которой алгоритм должен сойтись на текущем шаге, согласно посчитанному моментному члену, а не в той точке, откуда алгоритм производит шаг
• Использовании идеи физической инерции посредством добавления моментных членов, "скоростей"
• приближенном, а значит - более быстром("моментальном") вычислении градиентов в текущей точке

Лучший способ борьбы с переобучением:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Изменение архитектуры модели
• Регуляризации
• Увеличение количества данных

Метод подбора адаптированного learning rate на основе оценки исторических градиентов:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Nesterov Momentum
• RMSProp
• Adagrad

Наиболее популярный на текущий момент метод оптимизации, основанный на идее использования двух моментных членов, предложенный в 2015 году:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• ADAM
• Adagrad
• Adadelta

Начальная инициализация весов нейросети:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Должна быть константной для того, чтобы результаты обучения нейросети на одной и той же трейнинговой выборке были воспроизводимыми
• Должна быть случайной для того, чтобы модель могла обучиться, не зануляя градиенты на определенном шаге, причем такой, что дисперсия сигнала не будет изменяться при проходе через слои нейросети.
• Может быть любой

Нейронные сети бывают следующих видов:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Полносвязные и рекуррентные
• Рекуррентные, сверточные и трансформеры
• Рекуррентные, сверточные, полносвязные и трансформеры

Нейронные сети, наиболее часто применяющиеся в CV – это

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Полносвязные
• Сверточные
• Рекуррентные

Обучение нейронной сети – это применение алгоритма оптимизации для решения задачи

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Минимизации средней нормы градиента эмпирического риска по весам модели
• Минимизации эмпирического риска
• Минимизации средней нормы матриц весов модели

Обучение с учителем характеризуется

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Целью обучить агента принимать оптимальные решения в среде
• Отсутствием размеченной выборки
• Наличием размеченной выборки

Отметьте верные высказывания о функциях активации:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Функция активации сигмоида лежит в диапазоне [0,1] и может быть интерпретирована как вероятность, а потому часто используется для решения задач бинарной классификации. Функция ReLU - кусочно-линейная
• Функция Leacky ReLU - всюду дифференцируема. Популярная функция активации гиперболический тангенс может быть использована, как решающая функция для задачи регрессии. Производная сигмоидальной функции не выражается аналитически через значение самой функции в данной точке
• Все функции активации взаимозаменяемы вследствие того, что имеют одну и ту же область значений и область определения

Переобучение – это эффект, возникающий при

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Излишней сложности модели по отношению к сложности обучающей выборки, из-за чего происходит “заучивание” данных
• Слишком долгом обучении модели, из-за чего она теряет свою предсказательную способность вследствие увеличения энтропии весов
• Усталости специалиста по машинному обучению от того, что его модели слишком долго учатся

При прямом проходе через Feed Forward Neural Network:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Происходит обновление весов модели на основе градиентов, посчитанных на предыдущей итерации
• Происходит выстраивание архитектуры модели посредством подбора числа слоев и их размеров
• Сигнал передается посредством последовательного матричного умножения и применения нелинейных функций активации

Производная сигмоиды выражается через саму сигмоиду аналитически, как

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• sigm’ = sigm(1 - sigm)
• sigm’ = 5sigm^(5)
• sigm’ = 100sigm/sin(sigm)

Условия Каруша-Куна-Таккера применимы для решения:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Любой задачи оптимизации
• Задачи выпуклой оптимизации
• Задачи оптимизации произвольной функции на выпуклом множестве Q

Функции активации в нейронных сетях:

Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Нелинейны (глобально) и вносят неоднородность в сигнал при прямом проходе
• Линейны и нужны для проверки работоспособности модели
• Активируют нейросеть в разных режимах работы