А когда мы принимаем в буффер байты, можно узнать до какого индекса были записаны данные, чтобы обрезать лишнее?
> public int Receive
возвращает длину принятых данных. Если длина твоего буфера меньше, то это уже твои проблемы, если больше - то бери длину фактических данных и читай из массива