Как оказалось, если зигби датчик прокинут через z2m (в таком случае Т H залетают в ХА отдельными сущностями), то достаточно прописать в include_entities только температуру, а в entity_config можно добавить влажность. Жаль нельзя в Алису давление прокинуть.
Ну так а в чём тогда проблема?) Ничего не меняется, в том плане что нужно залезть в этот реверс-прокси и добавить заголовки. Если ГУИ позволяет - то через ГУИ. Если нет, то через консоль