ну все в обратном порядке первый байтик архива это длина последовательности, второй - то что нужно повторить в этой последовательности т.е. видишь 5 12, значит на выход пишешь 5 раз 12
ну архиваторы обычно работают с файлами им пофигу что жать rle хорошо подходит для картинок где что-то на однородном фоне нарисовано (ну например скан текста какого-нибудь - черные буквы на белом фоне. рле хорошо пожмет этот фон, т.к. фон состоит из одинаковых белых пикселей)