Що відрізняється від точного налаштування та трансферу-навчання?

Зазвичай тренування нейронної мережі становить щонайменше 2 кроки:

  1. спочатку пройшов навчання на великому наборі деяких стандартних даних (ImageNet, ...)
  2. , а потім отримані ваги навчаються на невеликому наборі моїх даних (на цьому кроці ми можемо тренувати всі шари або лише один останній шар)

Що ж до другого кроку, це точне налаштування або трансфер-навчання? І що відрізняється від точного налаштування та трансфер-навчання?

1

2 Відповіді

Як правило, я маю на увазі це як передачу навчання або адаптацію мережі. Тобто, приймаючи мережу, яка вивчила корисні функції з одного домену та адаптувала цю мережу та її розроблені функції до іншого домену.

Тим не менш, існує безліч джерел , що тісно зблизьте точне налаштування з передачею навчання. Тому я хотів би сказати, що різниця в термінології, насамперед, базується на думці, і пропонують закрити це питання з цих підстав.

1
додано
Ви можете напевно назвати це тим, що хочете. Чим ближче ви маєте потребу в тому, щоб інші люди могли повністю стежити за та/або відтворювати ваші результати, тим більше ви хочете вказати саме те, що ви робили, а не покладатися на неоднозначні терміни.
додано Автор Karl, джерело
Дякую. Ті, чи існує суттєва різниця між переходом і точністю? Я дзвоню, це те, що я хочу: transfer-learning - навіть якщо я зміню лише останній шар (і не торкаюсь інших шарів).
додано Автор rickumali, джерело

Точне налаштування - це процес, в якому параметри навченої моделі повинні бути налаштовані дуже точно, поки ми намагаємося перевірити цю модель, беручи до уваги невеликий набір даних, який не належить до набору поїзду. Цей невеликий набір даних для перевірки поставляється з того самого розподілу, що і набір даних, який використовується для навчання моделі. Розбиття доступних даних для набору тренувань та перевірки є випадковим. Передача навчання або адаптація домену пов'язана з різницею в розподілі поїзда та тестового набору. Так що це ширше, ніж точна настройка, а це означає, що ми априорно знаємо, що потяг і тест походять від іншого розподілу, і ми намагаємося вирішити цю проблему за допомогою кількох прийомів залежно від різниці різновидів, а не лише спробувати відрегулювати деякі параметри (зазвичай ми робимо це з причин, як запобігання переобладнання тощо)

1
додано
Дякую! Отже, якщо ми маємо один набір даних і випадково відокремлюємо його до навчального (90%) та перевірки (10%) наборів даних, то навчаємо файл моделі з навчальним набором даних, після чого ми тренуємо таку ж модель файл з валідаційним набором даних - це Тонова настройка . Але якщо ми тренуємо файл моделі з першим набором даних , після цього ми тренуємо той же файл моделі з 2-м набором даних (з різним розподілом класів/зображень або з інші класи, ніж у першому наборі даних) - це Передача навчання або адаптація домену. Але чи потрібно нам заморозити кілька шарів для точного налаштування чи ні?
додано Автор rickumali, джерело
Штучний інтелект Dev UA
Штучний інтелект Dev UA
212 учасників

Штучний інтелект, машинне навчання, Data Science