Сразу скажу, что я этой темы касался очень поверхностно.
Как
@webreh верно заметил, это большая и достаточно сложная область математики, и там за вечер разобраться во всём не выйдет.
Ну, простые вещи вроде дифференцирования с упрощением по правилам, конечно, можно и за вечер запрограммировать, но таких простых задач не так уж и много.
Если любопытно, то, наверное, лучше всего начать с
лекций на Лекториуме.
Есть, конечно, и книги, и специализированные журналы. Но их тяжеловато читать, если до этого компьютерной алгеброй не занимался. Я вот попробовал сходу начать читать Бухбергера, не самая простая книга.
В университетах часто есть такой курс, можно поискать учебники или конспекты лекций.