SМ
Если глобал он идет вдоль оси фичи
Size: a a a
2020 November 08
SМ
Для всех сэмплов
SМ
А не вдоль оси сэмпла
SМ
Дык какой макс?
SМ
Глобал?
d
def forward(self, input_ids, attention_mask):
h, _ = self.bert(input_ids=input_ids,
attention_mask=attention_mask,
output_attentions=None)
h_max = torch.max(h[:, 1:], dim=1).values
h_avg = torch.mean(h[:, 1:], dim=1)
encoded = torch.cat([h_max, h_avg], dim=1)
logits = self.decoder(encoded).squeeze()
return logits
SМ
Ну еще зависит от того торч или тф
SМ
SМ
Я на тф
SМ
Не торчок
SМ
Поэтому тут спор в ноль
SМ
Ща покажу как на тф
SМ
def forward(self, input_ids, attention_mask):
h, _ = self.bert(input_ids=input_ids,
attention_mask=attention_mask,
output_attentions=None)
h_max = torch.max(h[:, 1:], dim=1).values
h_avg = torch.mean(h[:, 1:], dim=1)
encoded = torch.cat([h_max, h_avg], dim=1)
logits = self.decoder(encoded).squeeze()
return logits
Это плохо
d
я тебя понял, на самом деле
SМ
Меньше каггл кернелы
SМ
Смотри
d
Ты про другую ось как раз
SМ