А в чём проблема, если память за мутексом? Ну кроме того, что горутина ничего не делает, пока данные залочены.
Аккуратненько можно, но есть куча разных caveat'ов (вроде того, что можно инвалидировать ссылку на слайс), и лучше просто этого не делать, а воротить каналы.