Да, в manifest.toml действительно есть ссылка, но сам он по умолчанию добавлен в .gitignore
Manifest - содержит фактические версии пакетов. Чтобы можно было именно с такими же развернуть в рабочем режиме. Project.toml - то, что нужно в принципе, но с грубыми ограничениями.