Глубокое обучение: легкая разработка проектов на Python [Сет Вейдман] (pdf) читать постранично, страница - 2

модели..............................................................................73
Код...............................................................................................................74
Основы нейронных сетей..............................................................................79
Обучение и оценка нейронной сети..............................................................86
Заключение..................................................................................................90
Глава 3. Основы глубокого обучения................................................................91
Определение глубокого обучения: первый проход.......................................91
Строительные блоки нейросети: операции...................................................93
Строительные блоки нейросети: слои...........................................................97
Блочное строительство............................................................................... 100
Класс NeuralNetwork и, возможно, другие................................................... 107
Глубокое обучение с чистого листа............................................................ 111
Trainer и Optimizer...................................................................................... 115
Собираем все вместе.................................................................................. 119
Заключение и следующие шаги.................................................................. 122
Глава 4. Расширения...................................................................................... 123
Немного о понимании нейронных сетей...................................................... 124
Многопеременная логистическая функция активации с перекрестноэнтропийными потерями............................................................................. 126
Эксперименты............................................................................................ 135
Импульс..................................................................................................... 138
Скорость обучения..................................................................................... 142
Инициализация весов................................................................................. 145
Исключение, или дропаут........................................................................... 149
Заключение................................................................................................ 153
Глава 5. Сверточная нейронная сеть.............................................................. 155
Нейронные сети и обучение представлениям............................................. 155
Слои свертки.............................................................................................. 160

Оглавление   7

Реализация операции многоканальной свертки.......................................... 167
Свертка: обратный проход......................................................................... 171
Использование операции для обучения CNN.............................................. 184
Заключение................................................................................................ 188
Глава 6. Рекуррентные нейронные сети......................................................... 190
Ключевое ограничение: работа с ветвлениями........................................... 191
Автоматическое дифференцирование......................................................... 194
Актуальность рекуррентных нейронных сетей............................................ 199
Введение в рекуррентные нейронные сети................................................. 201
RNN: код.................................................................................................... 209
Заключение................................................................................................ 230
Глава 7. Библиотека PyTorch.......................................................................... 231
Класс PyTorch Tensor................................................................................... 231
Глубокое обучение с PyTorch...................................................................... 233
Сверточные нейронные сети в PyTorch....................................................... 242
P. S. Обучение без учителя через автокодировщик..................................... 251
Заключение................................................................................................ 261
Приложение A. Глубокое погружение........................................................... 262
Цепное правило......................................................................................... 262
Градиент потерь с учетом смещения.......................................................... 266
Свертка с помощью умножения матриц...................................................... 266
Об авторе................................................................................................... 272
Об обложке............................................................................................... 272

Предисловие
Если вы уже пытались узнать что-то о нейронных сетях и глубоком обу­
чении, то, скорее всего, столкнулись с изобилием ресурсов, от блогов до
массовых открытых онлайн-курсов различного качества и даже книг.
У меня было именно так, когда я начал изучать эту тему несколько лет
назад. Однако если вы читаете это предисловие, вполне вероятно, что вы
нигде не нашли достаточно полноценного описания нейронных сетей.
Все эти ресурсы напоминают попытку нескольких слепцов описать слона
(https://oreil.ly/r5YxS). Вот что привело меня к написанию этой книги.
Ресурсы по нейронным сетям обычно делятся на две категории. Некоторые из них касаются в основном концептуальной и математической части
и содержат как рисунки, которые, как правило, встречаются в объяснениях
нейронных сетей, так и круги, соединенные линиями со стрелками на
концах, а также подробные математические объяснения того, что происходит, чтобы вы могли «вникнуть в матчасть». Пример этого — очень
хорошая книга Яна Гудфеллоу и др. «Deep Learning»1.
На других ресурсах — много кода, запустив который вы видите, как снижается ошибка и «обучается» нейронная сеть. Например, следующий
пример из документации PyTorch действительно задает и обучает простую
нейронную сеть случайными данными:
# N - размер партии; D_in - входной размер;
# H - скрытое измерение; D_out - размер вывода.
N, D_in, H, D_out = 64, 1000, 100,