Почпмутт

Ну DC результирован, значит нет необходимости руками сопоставлять

Так ведь будет ещё второй этап

Там, может, дадут ваши размеченные данные, и/или статистику по кликам

Тогда можно будет гораздо лучше сделать ранжирование

Возможно, даже персонализацию

Admins, I'm surprisingly found myself kicked out of Telegram Contests Discussion group. I hope it was happened by mistake. Let me share my message here once again.
---
Admins, there is an issue while scoring Gifted Lemur.
As we mentioned above, to run our algorithm properly there are two dummy articles should be added to the testset (RU + EN).
In new testset of 14 February those dummy articles weren't added for Threads and Top. (https://entry1187-dcround1.usercontent.dev/20200214/ru/, https://entry1187-dcround1.usercontent.dev/20200214/threads/ru/).
At the same time, dummy articles were added to the English run (https://entry1187-dcround1.usercontent.dev/20200214/en/, https://entry1187-dcround1.usercontent.dev/20200214/threads/en/) (or we count some articles as Russian incorrectly :)
It seems that invalid testing of our solution decreases our score dramatically:

Threads EN: 50.88
Threads RU: 15.76
Top news EN: 52.3
Top news RU: 15.59

The score difference between languages is really high and doesn't make any sense. It seems the problem appeared because of not following execution procedure in a proper way. News difference looks weird as well:

News EN: 12.67
News RU: 65.73

I would kindly suggest to rerun our solution with dummy articles as you already did for prelimenary testing. I expect as you previously agreed to run algorithms with dummy articles, you would do the same on final testsets as well. It will help to measure our solution honestly. Hope it works for you. Thanks. (@MarkusRa)

кстати а где взять input для последнего эвалюэйшена?

Ору

Шапочка из фольги должна помочь!

Опу

Ору

Если серьезно, кому и зачем удалять что-либо из сабмишена? Похоже, что организаторы, наоборот, стараются всячески помочь...

Я бы тоже хотел знать, возможно там как-то криво собрали, но если чекнуть ошибку

Using TensorFlow backend.
Traceback (most recent call last):
 File "/usr/lib/python3.7/runpy.py", line 193, in _run_module_as_main
   "__main__", mod_spec)
 File "/usr/lib/python3.7/runpy.py", line 85, in _run_code
   exec(code, run_globals)
 File "src/__main__.py", line 47, in <module>
   res_2, df_list_2 = ti.filter_news(df_list_1)
 File "src/tasks_interfaces.py", line 47, in filter_news
   df_classified = ALBP.predict_BINARY_on_telegram(tup[0], lang=tup[1], text_mode='full')
 File "src/Attention_LSTM_predict.py", line 103, in predict_BINARY_on_telegram
   AttentionLSTM_model = load_model(path, custom_objects={'Attention': Attention(maxlen, )})
 File "./venv/lib/python3.7/site-packages/keras/engine/saving.py", line 492, in load_wrapper
   return load_function(*args, **kwargs)
 File "./venv/lib/python3.7/site-packages/keras/engine/saving.py", line 583, in load_model
   with H5Dict(filepath, mode='r') as h5dict:
 File "./venv/lib/python3.7/site-packages/keras/utils/io_utils.py", line 191, in init
   self.data = h5py.File(path, mode=mode)
 File "./venv/lib/python3.7/site-packages/h5py/_hl/files.py", line 312, in init
   fid = make_fid(name, mode, userblock_size, fapl, swmr=swmr)
 File "./venv/lib/python3.7/site-packages/h5py/_hl/files.py", line 142, in make_fid
   fid = h5f.open(name, flags, fapl=fapl)
 File "h5py/_objects.pyx", line 54, in h5py._objects.with_phil.wrapper
 File "h5py/_objects.pyx", line 55, in h5py._objects.with_phil.wrapper
 File "h5py/h5f.pyx", line 78, in h5py.h5f.open
OSError: Unable to open file (unable to open file: name = 'tgnews/models/AttentionLSTM_BINARY_model_50_100__Glove_2_DENSE_22k_UNBALANCED_10_epochs.hdf5', errno = 2, error message = 'No such file or directory', flags = 0, o_flags = 0)

Ну, не включил файл в сабмишен. Некоторые, припоминаю, бинарники для других ОС засылали и возмущались, что организаторы их запустить не могут...

Зачем ты пишешь чушь..

А ты?

Там проблема с путями случилась при сборке вероятно, которую не захотели фиксить - так как куча зависимостей, я отправлял src и бинарники с моделями. Но конечно приятнее было бы получить штрафы за фиксы)

Локально сабмишшен оттестирован был естесно в том виде, в ктором отправлен