Писать полностью свою вьюху для отрисовки текста. Сам алгоритм отрисовки текста в TextView не оптимизирован под большой объем, а тут ещё сначало перерисовает текст под спан, а потом этот спан рисует.
Вот, пока самое быстрое из open source
https://github.com/Rosemoe/CodeEditorРисует очень быстро огромный объем текста.