Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2021 May 28

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
небольшой технический вопрос относительно бродкаста при арифметике тензоров, если у меня (20, 1, 300,300) - (20, 1, 1, 1) (тензор первого измерения и тензор второго), то от каждого из значений 300 на 300 отнимется соответствующее значение во втором тензоре (например если первое значение из 20 было 5, значит от каждого из значений 300 на 300 которое под нулевым индексом отнимется 5) верно ?
источник

TN

Timofey Naumenko in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
yes
источник
2021 May 29

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Коллеги, там Дата Фест в разгаре. Программа фестиваля и ссылки в дайджест-подкасте
источник

KD

Kirill Demidov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
А помогите новичку со спарком?
Есть 8 больших (~40 гигов каждый) файлов в S3 (csv/json) и их нужно прочитать и выполнить некоторые операции по обработке и поиску определенных паттернов - как мне их прочитать с локальным спарком по частям?
источник

KD

Kirill Demidov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Подключение к бакету я уже выполнил - осталось понять как их по частям обрабатывать
источник

D

Dima in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ну если у тебя 1 машина,то пиши генератор,который будет читать часть файлика,если машин несколько,то настраивай rdd
источник

KD

Kirill Demidov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Машина одна...
источник

D

Dima in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Тогда пишите свой генератор, если вы спарком прочитаете весь файл и заэкзекутите граф вычислений,то оперативы не хватит
источник

D

Dima in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
@hadoopusers
Можете ещё тут спросить,может я что-то упускаю
источник

KD

Kirill Demidov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
@Daillek Спасибо! попробую
источник

ДБ

Дмитрий Батыров... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Добрый вечер. Такой вопрос. 1. Есть бд cloudera impala
2. Нужно снять бизнес метрики (отрисовать в графане).
3. Поддержи нет. И графана не поддерживает не jvdbc ни odbc
Вопрос, есть ли какой то способ снять метрики? (Может есть какой exporter?).
источник

JR

Jürgen Romins in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
https://github.com/kloudsense/cloudera_exporter
А еще была в облаке своя графана
источник

JR

Jürgen Romins in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

ДБ

Дмитрий Батыров... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Как бы объяснить. Не подходит. Потому что нужно чтоб экспортёр позволял выполнить Sql запрос. (Чтоб снять метрики).
источник
2021 May 30

JR

Jürgen Romins in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
тогда смотри датасуорс который скидывал там tsquery есть
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Добрый день.
Может кто-нибудь поделиться опытом.

Правильно ли понимаю, что в обученной CNN соседние классы располагаются в определенном смысле "близко" в итоговом "пространстве"?
Т.к. чаще всего ошибка в prediction как раз следующий класс.

И еще вопрос по затуханию градиента в CNN.
Получается что при обучении сначала тренируются последние слои? Или другими словами они "получают" больше информации для настройки весов?
источник

D

D_lind in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Добрый день, подскажите пожалуйста, есть тут ребята  кто встраивал модель *.tflite в мобильное приложение на iOS. Вопросик, как передавать значения на вход и получить ответ на выход соответственно?
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
эмм, почему в tb отображается странно ?
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник