Это ты как автор библиотеки должен дизайн подобрать
Бесспорно)
Тут, скорее, такой вопрос к людям с опытом:
Какой способ использования ресурсов основной, а какой - по ситуации?
Чаще приходится держать ресурсы в кэше, и, иногда вручную менеджить (удалять по ненадобности).
Или же, наоборот: большинство ресурсов должны сами удаляться, когда умирают все их владельцы. А в кэш ресурсы совать приходится нечасто.