Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2021 April 13

D

Dima in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Всем привет
кто-нибудь может подкинуть ссылки\либы\гайды как интерпретируют результаты  CNN моделей на табличных данных? для глобальной интерпретации
источник

DC

Dr Cheb in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Видел для CNN shap, но подходит ли он для CNN на табличных, хз. Можешь доку почитать, мб что нибудь сказано
источник

@

@Evgeniia_Orlova in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
ага
источник

AG

Arseny Gorbunov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Всем, привет!
Какие могут возникнут проблемы, если во flask или fastapi использовать модели в качестве глобальных переменных?
Т.е. я делаю запрос по адресу в качестве джейсона. POST считывает эту ерунду и обращается к модели, которая является глобальной переменной и которую я объявил при создании сервера. Внутри модели ничего не меняется.
Не очень понимаю, что будет с моделью, если будет несколько параллельных запросов.
У Вас есть какие-нибудь советы?
источник

ПП

Проксимов Прксимович... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Не делай модель глобальной
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Переслано от Arseny Gorbunov
А вот как этого не делать?
Вот как я это понимаю. Есть простенькое приложение:
~~~
model = init_model()
app = FastAPI()

@app.post("/")
def handle_post(request: List[Dict]):
 responce = model(request)
 return responce
~~~

Вот в этом случае модель является глобальной переменной?
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
бот злодей удалил сообщение :)
источник

ПП

Проксимов Прксимович... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
А почему?
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
он почему-то подумал что app.post это не просто урл, а зловредный спамерский сайт :)
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
виной всему говнопарсер телеги :)
источник

JR

Jürgen Romins in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Да если можно так сказать, если определяется вначале то может быть вызвано везде ниже
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
но корректировку в бота я всё равно сделаю
источник

AG

Arseny Gorbunov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Т.е., чтобы модель не была глобальной переменной, лучше подкачивать модель внутри каждого запроса? Модельки могут быть большими, а запросов много... никак иначе?
источник

JR

Jürgen Romins in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
ты ее инициализируешь собственно вверху в пайтоне скрипты читаются сверху вниз собственно и инициализция так же идет, область видимости для функции это переменная в теле функции
источник

AG

Arseny Gorbunov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Это я понимаю. Мой вопрос изначально в том, что если я инициализирую модель вне функции, которая обрабатывает запрос к сереверу, то модель становится глобальной переменной и её поведение при параллельных запросах к серверу мне не понятны. Может быть я очень плохо объясняю
источник

JR

Jürgen Romins in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Честно вообще не понятно в чем конкретно вопрос
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Не делай модель глобальной
источник

AG

Arseny Gorbunov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Хорошо)
источник

RY

Ruslan515 Y in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
всем привет. имеется csv размером 90Гб. у меня убунту. входящий в комплект архиватор уже 3 часа архивирует. до этого не смог. вот, вновь по 2му кругу запустил.  вопрос: есть ли другой инструмент для более быстрой архивации больших файлов?
источник

AR

Andrei Rumyantsev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
чанки
не надо целиком такое пихать
источник