Получилось. Как я понял, проблема была в путях проекта в пайчарме и результатах теста. Если pytest запускался из директории в которой лежит файл с тестами, а в пайчарме это не главная директория проекта, тогда он видимо не находил его. Возможно он ориентируется как-то на главную директорию проекта и fullName по ней пытается сравнить.