Ок, глубокое обучение (как и проникновение, спасибо за пример) описывает достижение ошибки самых глубоких слоев. А следуя вашей логике, раз глубинное характерно для глубины, то когда будете обучать первые слои с фиксацией весов остальных, тогда это и будет "голубинным" обучением (это моя ассоциация, без тегов и контекста).