листинг ошибки приложить?

(пока запуск локально,  спарк тяну через  sdk)
(Spark 2.3.1) падает при инициализации new Pool()
(Spark 2.4.5) тест на классификацию из readme - Ok

Можно чуть подробнее насчет вопроса про evicted? Ничего особо специфичного у нас нет, стандартные механизмы разрешения зависимостей и потенциального eviction.

Не могу воспрозвести, вопрос снят


А так - просто интересовало , что это в принципе, так как не настоящий сварщик

Я сам посмотрю, если ошибок никаких не будет на текущей версии (в чем сомневаюсь) спрошу.

> что это в принципе, так как не настоящий сварщик

Это сообщения от Apache Ivy, который используется pyspark ом когда в графе зависимостей есть разные версии библиотеки, то обычно выбирается более свежая версия, а старые evicted. Обычно с этим больших проблем быть не должно, часто такое бывает со всякими часто используемыми библиотеками типа логгирования (например, slf4j*)

А когда все-таки ждать версию новую с нормальной поддержкой эмбединг фичей? помимо обсуждаемых ранее, еще очень напрягает

Error: catboost/libs/fstr/calc_fstr.cpp:673: CalcFstr is not implemented for models with embeddings features

про попытке получить feature_importance

Периодически выпадает ошибка

  File "/root/.pyenv/versions/3.8.6/lib/python3.8/site-packages/catboost/core.py", line 4302, in fit
    self._fit(X, y, cat_features, text_features, embedding_features, None, sample_weight, None, None, None, None, baseline, use_best_model,
  File "/root/.pyenv/versions/3.8.6/lib/python3.8/site-packages/catboost/core.py", line 1806, in _fit
    self._train(
  File "/root/.pyenv/versions/3.8.6/lib/python3.8/site-packages/catboost/core.py", line 1258, in _train
    self._object._train(train_pool, test_pool, params, allow_clear_pool, init_model._object if init_model else None)
  File "_catboost.pyx", line 4156, in _catboost._CatBoost._train
  File "_catboost.pyx", line 4205, in _catboost._CatBoost._train
_catboost.CatBoostError: catboost/private/libs/feature_estimator/feature_estimator.h:35: Attempt to call single feature writer on packed feature writer

О чем она? Падает как-то рандомно, не могу понять, что ее вызывает. Могут пройти несколько запусков без ошибки, а на очередном рестарте выпадает.

Ого, спасибо

Error: catboost/libs/fstr/calc_fstr.cpp:673: CalcFstr is not implemented for models with embeddings features

Пока оценка в середине следующей недели

👌

Подскажите, пожалуйста, как, например в Kaggle обучить модель на GPU?
Достаточно ли переключения в параметрах кернела с CPU на GPU или нужно ещё что-то подгрузить?
Если я пишу:

model = CatBoostClassifier(iterations=1000, task_type="GPU", devices='0')

devices='0' правильно?
Где вообще берутся эти id?

model = CatBoostClassifier(iterations=1000, task_type="GPU", devices='0')

Просто номера карт из перечисления nvidia-smi, можно воспринимать так

Спасибо!

spam

Подскажите пожалуйста, вчера запускал обучение, с утра выводов с  print не увидел, программа не инициализирована, заново прогнал до обучения,а модель не продолжает учиться выдает ошибку, хотя бэкап формировал, скриншоты сделать не мог , заранее извиняюсь

Сейчас подумал и решил, что скорее всего произошло из-за того, что перемешивал строки в датасете,
d=d.sample(frac=1)
это из -за этого?

Если между запусками меняется датасет - то может быть такая ошибка, да

Потому что в снепшоте написана контрольная сумма датасета