Касательно попробовать - это в принципе частый вариант. Пробуйте, только тест делайте. А по поводу аугментации.. например, вы начинаете добавлять смещенные и повернутые картинки. Вы ведь со всеми картинками поработаете, правильно? Предполагается, что большого смещения не произойдет, а распределение останется примерно тем же. А вы как хотите добавить все комбинации? С каким-то ведь распределением, правильно? Его изначально нет. Везде по одному? Или где-то больше? Очень хорошо, что вы пытаетесь докопаться до истины, это очень важно