Tracing GC: хз где сколько поинтеров, нужно сканить весь хип. Т.е. происходит полностью асинхронно с основной логикой.
RC: ведется счетчик ссылок, на каждый релиз делается проверка и дроп. На weak ref нужно еще по табличке сходить и этим рефам нули вписать. Более предсказуемо чем GC, но все равно у тебя в случайных местах может быть просир кешей.
Borrowck: ведется статический учет лайфтаймов. Шарить мутабельно нельзя (в отл. от GC/RC). Дропы в предсказуемом месте. Функционал самый ограниченный, но полная предсказуемость и минимальный кост.
Free/malloc: просто не забываем освобождать память только где нужно и когда нужно. Шарить можно сколько угодно. Предсказуемый перформанс не считая сегфолтов.