Все верно, но 10 мкФ как вы предлагаете явно перебор. Рассмотрим случай когда вы выключаете питание. У вас на входе будет 0, на выходе 5 В, как долго - зависит от потребления тока. Фактически регулятор включен задом-наперед, и они имеют свойство гореть при этом