Чтобы понимать правильно о-нотацию нужно начало матана вспомнить, а конкретно пределы. Если просто, то через нее выражают зависимость кол-ва операций (а еще памяти и прочего) от входа (например длинны массива, если мы говорим о сортировке например).
Из чтива — Кормен, но он сложный (я только выборочно читал) и для задачи прохождения собеса — оверхед. Сами алгоритмы можно на codewars потренировать.
можно просто хотя бы графики функции помнить... как выглядит x^2 , n , logn - это уже половина успеха.. и не начала матана, а конкретно асимптотический анализ но то уже детали