По дефолту либы выкачиваются не в папку проекта. В твоей репе остаётся только Package.resolved и его не надо игнорить. Другими словами, по дефолту для SPM ничего не нужно добавлять в гитигнор.
Но некоторые иногда настраивают сохранение либ прямо с проектом. Тогда в гитигнор добавляют Packages/,
Package.pin и Package.resolved.