Если пришло на вход новых N сэмплов, то просто N итераций sgd.
Но если вопрос был в вакууме, то можно байесовским линрегом воспользоваться. Тогда просто после поступления новых наблюдений в качестве нового априорного распределения берёшь старое апостериорное и находишь новое апостериорное