PyTorch. Освещая глубокое обучение [Эли Стивенс] (pdf) читать постранично, страница - 4

изображений . . . . . . . . . . . . . . . . . . . . . . . 218
7.1.1. Скачиваем CIFAR-10 . . . . . . . . . . . . . . . . . . . . . . . . . . 218
7.1.2. Класс Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . 219

12  Оглавление
7.1.3. Преобразования объектов Dataset . . . . . . . . . . . . . . . . . . 221
7.1.4. Нормализация данных . . . . . . . . . . . . . . . . . . . . . . . . . 223
7.2. Различаем птиц и самолеты . . . . . . . . . . . . . . . . . . . . . . . . . . 226
7.2.1. Формирование набора данных . . . . . . . . . . . . . . . . . . . . 227
7.2.2. Полносвязная модель . . . . . . . . . . . . . . . . . . . . . . . . . . 227
7.2.3. Выходной сигнал классификатора . . . . . . . . . . . . . . . . . . 229
7.2.4. Представление выходного сигнала .
в качестве вероятностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
7.2.5. Функция потерь для классификации . . . . . . . . . . . . . . . . 234
7.2.6. Обучение классификатора . . . . . . . . . . . . . . . . . . . . . . . 237
7.2.7. Ограничения, накладываемые полносвязностью . . . . . . . . . 244
7.3. Итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
7.4. Упражнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
7.5. Резюме . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
Глава 8. Обобщение с помощью сверток . . . . . . . . . . . . . . . . . . . . . . 249
8.1. Аргументы в пользу сверток . . . . . . . . . . . . . . . . . . . . . . . . . 250
8.1.1. Что делают свертки . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
8.2. Свертки в действии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
8.2.1. Дополнение нулями по краям . . . . . . . . . . . . . . . . . . . . . 255
8.2.2. Обнаружение признаков с помощью сверток . . . . . . . . . . . 257
8.2.3. Расширяем кругозор с помощью субдискретизации .
и повышения глубины сети . . . . . . . . . . . . . . . . . . . . . . . . . . 260
8.2.4. Собираем нашу нейронную сеть воедино . . . . . . . . . . . . . 264
8.3. Создание подклассов nn.Module . . . . . . . . . . . . . . . . . . . . . . . 266
8.3.1. Наша сеть как подкласс nn.Module . . . . . . . . . . . . . . . . . 267
8.3.2. Как PyTorch отслеживает параметры и подмодули . . . . . . . 269
8.3.3. Функциональные API . . . . . . . . . . . . . . . . . . . . . . . . . 270
8.4. Обучаем нашу сверточную сеть . . . . . . . . . . . . . . . . . . . . . . . 272
8.4.1. Измерение степени безошибочности . . . . . . . . . . . . . . . . 274
8.4.2. Сохранение и загрузка модели . . . . . . . . . . . . . . . . . . . . 275
8.4.3. Обучение на GPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
8.5. Архитектура модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
8.5.1. Расширение объема памяти: ширина . . . . . . . . . . . . . . . . 278

Оглавление  13
8.5.2. Улучшаем сходимость модели и ее способности .
к обобщению: регуляризация . . . . . . . . . . . . . . . . . . . . . . . . . 280
8.5.3. Забираемся глубже для усвоения более сложных .
структур: глубина сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
8.5.4. Сравнение архитектур этого раздела . . . . . . . . . . . . . . . . 291
8.5.5. Описанное здесь уже устарело . . . . . . . . . . . . . . . . . . . . 292
8.6. Итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
8.7. Упражнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
8.8. Резюме . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294

Часть II
Обучение на изображениях на практике:
раннее выявление рака легких
Глава 9. Применение PyTorch в борьбе с раком . . . . . . . . . . . . . . . . . . 296
9.1. Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
9.2. Подготовка к масштабному проекту . . . . . . . . . . . . . . . . . . . . .298
9.3. Что такое компьютерная томография . . . . . . . . . . . . . . . . . . . . 300
9.4. Проект: сквозной детектор рака легких . . . . . . . . . . . . . . . . . . . 303
9.4.1. Почему нельзя просто передавать данные в нейронную .
сеть, пока она не заработает . . . . . . . . . . . . . . . . . . . . . . . . . . 308
9.4.2. Что такое узелок . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
9.4.3. Наш источник данных: The LUNA Grand Challenge . . . . . . . 315
9.4.4. Загрузка данных LUNA . . . . . . . . . . . . . . . . . . . . . . . . 315
9.5. Итоги главы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
9.6. Резюме . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
Глава 10. Объединение источников данных . . . . . . . . . . . . . . . . . . . . 319
10.1. Файлы необработанных данных КТ . . . . . . . . . . . . . . . . . . . . 321
10.2. Парсинг данных аннотаций LUNA . . . . . . . . . . . . . . . . . . . . . 322
10.2.1. Обучающие и проверочные наборы . . . . . . . . . . . . . . . . 324
10.2.2. Объединение аннотаций и данных кандидатов . . . . . . . . . 324
10.3. Загрузка сканов КТ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
10.3.1. Единицы Хаунсфилда . . . . . . . . . . . . . . . . . . . . . . . . . 330
10.4. Определение положения узелка в системе координат пациента . . . 331
10.4.1. Система координат пациента . . . . . . . . . . . . . . . . . . . . 332

14  Оглавление
10.4.2. Форма КТ-скана и размеры вокселя . . . . . . . . . . . . . . . . 334
10.4.3. Преобразование миллиметров в адреса вокселей . . . . . . . . 336
10.4.4. Извлечение узелка из скана