response.xpath(f'.{table_header_xpath}//text()').getall()двойной слеш заставит искать везде текст. Но, именно везде. Так что, может лишнее быть
getall не уверен что нужен, но, проверь
прилетит много пустых строк, придумывай как очистить.
не факт, что это идеальное решение, первое что пришло в голову