Експериментуйте з ініціалізаторами ваги для навчання переходу

Цей приклад показує, як налаштувати експеримент, який ініціалізує ваги згортки та повністю зв’язані шари, використовуючи різні вагові ініціалізатори для навчання. Щоб порівняти ефективність різних вагових ініціалізаторів для вашого завдання, створіть експеримент, використовуючи цей приклад як керівництво.

Під час навчання мережі глибокого навчання ініціалізація вагових коефіцієнтів та упереджень може мати великий вплив на те, наскільки добре тренується мережа. Вибір ініціалізатора має більший вплив на мережі без шарів пакетної нормалізації. Щоб отримати додаткову інформацію про ініціалізатори ваги, див. Порівняння ініціалізаторів ваги шару.

Відкритий експеримент

Спочатку відкрийте приклад. Менеджер експериментів завантажує проект із попередньо налаштованим експериментом, який ви можете перевірити та запустити. Щоб відкрити експеримент, у браузері експериментів, двічі клацніть назву експерименту (WeightInitializerExperiment).

Визначення експерименту складається з опису, таблиці гіперпараметрів, функції налаштування та (за бажанням) колекції метричних функцій для оцінки результатів експерименту. Для отримання додаткової інформації див. Налаштування експерименту для глибокого навчання.

Опис поле містить текстовий опис експерименту. У цьому прикладі опис:

Гіперпараметри Розділ визначає стратегію (Вичерпний розгорт) та значення гіперпараметрів, які слід використовувати для експерименту. Під час запуску експерименту Диспетчер експериментів тренує мережу, використовуючи кожну комбінацію значень гіперпараметрів, зазначених у таблиці гіперпараметрів. У цьому прикладі використовуються гіперпараметри WeightsInitializer та BiasInitializer для вказівки вагових ініціалізаторів згортки та повністю підключених шарів у попередньо навченій мережі.

Функція налаштування конфігурує дані навчання, архітектуру мережі та варіанти навчання для експерименту. Щоб перевірити функцію налаштування, у розділі Функція налаштування, натисніть Редагувати. Функція налаштування відкривається в редакторі MATLAB®.

У цьому прикладі функція налаштування:

Завантажує та витягує набір даних Flowers, який становить близько 218 МБ. Для отримання додаткової інформації про цей набір даних див. Набори даних зображень.

Завантажує попередньо навчену мережу GoogLeNet та ініціалізує вхідну вагу в згортці та повністю підключених шарах за допомогою ініціалізаторів, зазначених у таблиці гіперпараметрів. Допоміжна функція findLayersToReplace визначає, які шари в архітектурі мережі можуть бути змінені для навчання передачі.

Визначає об’єкт trainingOptions для експерименту. Приклад тренує мережу протягом 10 епох, використовуючи міні-пакетний розмір 128 і перевіряючи мережу кожні 5 епох.

Метрики Розділ визначає додаткові функції, які оцінюють результати експерименту. Цей приклад не включає будь-які спеціальні метричні функції.

Запустіть експеримент

Під час запуску експерименту Диспетчер експериментів кілька разів тренує мережу, визначену функцією налаштування. Кожне випробування використовує різну комбінацію значень гіперпараметрів. За замовчуванням Диспетчер експериментів запускає одну пробну версію за раз. Якщо у вас є Parallel Computing Toolbox ™, ви можете запускати декілька випробувань одночасно. Для найкращих результатів, перш ніж запускати експеримент, запустіть паралельний пул із такою кількістю працівників, як графічні процесори. Для отримання додаткової інформації див. Використання диспетчера експериментів для навчання паралельних мереж.

Щоб запустити одну пробну версію експерименту за раз, у стрічці інструментів Диспетчер експериментів натисніть кнопку Виконати.

Щоб запустити кілька випробувань одночасно, натисніть кнопку Використовувати паралельно а потім Біжи. Якщо поточного паралельного пулу немає, Диспетчер експериментів запускає такий, використовуючи профіль кластера за замовчуванням. Потім менеджер експериментів виконує кілька одночасних випробувань, залежно від кількості доступних паралельних робітників.

Таблиця результатів відображає точність і втрати для кожного випробування.

Поки експеримент запущений, натисніть Навчальний сюжет для відображення навчального сюжету та відстеження прогресу кожного випробування.

Клацніть Configuration Matrix для відображення матриці плутанини для даних перевірки в кожному завершеному випробуванні.

Коли експеримент завершиться, ви зможете відсортувати таблицю результатів за стовпчиком або відфільтрувати випробування за допомогою фільтрів панелі. Для отримання додаткової інформації див. Сортування та фільтрування результатів експерименту.

Щоб перевірити ефективність окремого випробування, експортуйте навчену мережу або навчальну інформацію для випробування. На менеджері експериментів на панелі інструментів, виберіть Експорт > Навчена мережа або Експорт > Інформація про навчання, відповідно. Для отримання додаткової інформації див. Мережу та інформацію.

Закрити експеримент

У браузері експериментів клацніть правою кнопкою миші на назві проекту та виберіть Закрити проект. Диспетчер експериментів закриває всі експерименти та результати, що містяться в проекті.