А  dropout'ы у меня по 0.5 в последних 2ух слоях сети

а, ну ясно -- у тебя просто существенно недообучается, т.к. train set маленький.
http://1.bp.blogspot.com/-IKBOtqKxf6M/WL4VFKZsI7I/AAAAAAAABYY/vOuV7QmBJSU6ca5vo3I8tzULMwtx5xInACK4B/s1600/andrewNg_8.PNG

не пойму, что значит dev

?

Это когда делят на 3 кучки вместо двух, чтобы отличать разные ситуации. Он же cross-validation.

Так у меня получается не train-set а test-set маленький

может и так, но это непонятно.
пункты в этой схеме последовательны, если ошибка в первом шаге, то её нужно исправлять в первую очередь, чтобы прояснить что ещё не так.
если же считаешь, что training error у тебя нормальный (можешь попробовать ручной анализ ошибок провести -- реально там сложные случаи или сеть вообще тупит), то у тебя начинает пункт 2 работать. у тебя 30%-10%, т.е. большая разница между train и dev. Что говорит о том, что данные сильно разные в train и dev, и значит, что если всё ок с training set, то нужно увеличивать или по-другому выбирать dev set.

Спасибо! Буду тогда последовательно анализировать

как я говорил пару дней назад, если сложно найти много данных, найди хоть немного, обучи снова и посмотри, улучшается ли качество. если улучшается -- то это пункт 1 к исправлению.

т.е. надо искать ещё данные и получать прирост

Я увеличил в 4 раза кол-во данных по сравнению с прошлыми, и получил вот такую ситуацию

а до этого как было?

а, кстати, там написано ещё грамотнее, чем я сказал.

там написано "учи дольше" на первый пункт.

в общем, учи, пока оно не начнёт оверфитить.

ага, данных было мало -- оно оверфитило, но и эпох было 60.

значит, сейчас тебе нужно больше учить , потому что теперь оно недоучилось.

ок, попробую пусть побольше эпох, на ночь поставлю

держи в курсе, без всякой иронии говорю -- отличный обучающий материал получается.