Буду мудрить с тем, что бы считать скрол от низа перед добавлением новых элементов и после добавления элементов устанавливать этот скрол как будто бы от низа.
если будете считать от низа, то ничего устанавливать самому не нужно будет. Смысл в том, что контейнер будет расширяться, но ваша позиция от низа сохранится такой же. Если она будет такой же, то вы останетесь ровно на том элементе, на котором были, а сверху просто появится дополнительное пространство для скролла