Японцы по-английски говорят очень неуверенно. Произношение им тоже даже даётся очень тяжело вследствие особенностей своего языка.
Насчёт вашего вопроса: а зачем вы интересуетесь? Если хотите просто туристом съездить в страну, то можно не учить. Если собираетесь работать в сфере IT, то есть шанс попасть в фирму, где внутренний язык английский. В других сферах японский, как правило, нужен постоянно. Опять же, для того, чтобы более-менее ориентироваться в происходящем вокруг вас какие-нибудь познания на уровне N4 лучше иметь.