вот монохромный слой из которого надо сделать маску ко второму слою, можно выделить через колор рейндж, можно копировать целиком создать альфу и оттуда уже ее применять
вот по умолчанию когда выделяешь саму маску в каналах у нее глаз не горит, тогда оно вставляется просто слоем сверху, а если глаз включить то вставляется куда надо
если не выходит - жмакнуть по иконке масочки с зажатым Alt - тогда уж точно вставка сработает
если альт зажимать на иконке маски она просто инвертированная появляется, а вот этот вот режим про который ты говоришь он срабатывает когда канал включаешь