Нет, это совершенно не так. Возможно вы читали какую-то не ту книжку про образование вселенной. Ну, не от физиков.
Ну да, мое представление такое: в момент возникновения вселенной никакой материи не было - только энергия.
Постепенно она превращалась в материю, укрупняясь, пока не получились стабильные частицы типа протонов, нейтронов и электронов.