спасибо

Привет! У кого-то был опыт перехода с pandas на koalas? Насколько сильно частые переходы to_pandas / from_pandas замедляют систему?

Во многих местах простой заменой панды на коалу не получается, частенько выкидывает ошибку что у коалы этот метод нереализован либо работает как-то иначе. В этих местах чтобы особо не трогать код перевожу все на панды.
Но сейчас вот столкнулся с тем, что память течет:(

можешь сам чекнуть
загрузить 500 мб файлик, и закинуть его с пандаса на коалу и обратно, с пандаса на коалу не сильно то замедлит работу т.к. коала не загружает весь файлик в оперативу, а вот с коалы на панду будет потяжелее мб один
проще будет перейти на скалу и дергать оттуда спарк и багов ловить не будешь от питонячей апихи спарка либо на даск там вроде нет перехода на py4j
так же ,когда ты будешь на разных нодах гонять свой файлик и сделаешь to pandas, у тебя все файлики с нод перейдут на драйвер ноду и хватит ли у тебя там места большой вопрос

Спасибо) я уже предложил это нашему пм, но он настаивает на коале чтобы быстренько перейти на Спарк, а дальше уже потихоньку переделывать все шаг за шагом.
Но чето этот переход оказался нифига не быстреньким, плюс ещё и память течёт где-то

так коала - это обертка над спарком,если я не ошибаюсь

Так и есть. Коала позиционирует себя как интерфейс панды + бекэнд на спарке. Только там не совсем все как в пандах реализовано:(

Привет.

Ищу библиотеку, в которой можно запускать разные classifiers и тестировать их эффективность. Наткнулся на lazypredict, но как-то не расширяемо получается. Банально нельзя recall и precision вывести одновременно, задать threshold. Может, вы подскажете еще инструменты такого рода?

да это ж не так сложно написать... у всех fit/predict

Ну да, не сложно, но все равно забирает время. От проекта к проекту какие-то части меняются, приходится копировать, въезжать в контекст заново. А так если есть библиотека с удобным и понятным интерфейсом, это дело было бы легче делать.

была какая-то, pycaret вроде

Так сделайте свою локальную библиотеку
Можете попробовать ещё pycaret
Либо какой-нибудь другой автомл

Понял, спасибо. Тогда придется сделать.

Можете ещё на Python Luigi попробовать построить архитектуру в духе «запустить десять тасков с различными классифаерами, подождать пока они отработают, потом сравнить результаты в одиннадцатой таске».

Всем привет!
есть тут знатоки sklearn ?

Интересует вот эта смесь:
https://scikit-learn.org/stable/modules/generated/sklearn.mixture.BayesianGaussianMixture.html

А вернее параметр n_components.
Наткнулся как раз на такую ситуацию, что "иногда" модель может решить не использовать все компоненты, такое поведение выглядит ужасным.

Например:
bgm =  BayesianGaussianMixture(n_components = 17)

labels_predict = bgm.fit_predict(x_train)    (число эффективных лейблов 16)
proba = bgm.predict_proba(test_data) - (уже выдает матрицу с 17 столбцами)
К слову сказать , в proba присутствуют все компоненты, все 17, хотя да, один из них достаточно близок к нулю.


все бы ничего , но умное поведение , иногда создает проблемы. Как с этим бороться?
Как заставить модельку, перестать умничать?

Цифровое производство. Искусственный интеллект в машиностроении.

https://youtu.be/zIniZDHS4Ok

Здравствуйте! Подскажите пожалуйста,  что такое association rule mining, sequential pattern mining и affinity grouping?

Подскажите, какой-нить библиотечкой можно взять строчки из одного df и сопоставить со вторым по минимальному евклидовому расстоянию?
При это не дб повторов

Мне только перебор пришёл в голову

Перебор и будет в конце концов, скорее всего

Может кто дать пояснения по алекснету?
А точнее, по каскадам свёрток: как 2 последовательно применённых свёртки 3х3 заменяют свёртку 5х5? В чём смысл этой операции?

Посмотри зону влияния одного пиксела при свёртке 5х5 и при двух последовательных свёртках 3х3