SK
почему не получится?
Size: a a a
2020 April 23
SK
и что такое big data
Н
Террабайты.. десятки террабайт
A
думаю вопрос про многохостовый режим
VB
Можно сделать ансамбль из разных подвыборок. На моменте предсказания можно усреднить ответы. Главное подвыборки правильно сформировать. От задачи зависит
SK
вообще, тут сложный и, скорее, инфраструктурный вопрос
SK
потому что в конечном итоге, конечно, датасет должен поместиться в память устройств - GPU или CPU серверов
SK
если мы говорим про GPU обучение, а это самый корректный вариант для big data
SK
то тут вопрос скорее в объеме видеопамяти
SK
просто нужно понимать, что 1ТБ исходных данных - это очень нечеткая постановка вопроса 🙂
SK
потому что можно записать его в виде 2 байта на фичу, а можно и по 19 байт на флоатную фичу тратить
SK
так что лучше говорить в терминах количество фичей * количество документов
SK
если взять 1 видеокарту V100 с 32 гигами видеопамяти, то на неё можно положить около 28миллиардов фиче-документов при квантизации флотов на 128 бинов и в 8 раз больше если датасет состоит из только бинарных признаков
SK
если квантовать на 15 бинов, то получится ~56 миллиардов фиче-документов (упаковка каждого квантованного признака в 4 бита)
SK
и это на одной карте
Н
Понятно, что ничего непонятно.
SK
Жду вопросов про то, что не понятно 🙂
Н
Не владею терминологией ML. Фичи-документы это столбцы-строки?
Я просто представляю себе catboost как черный ящик на вход которого подается массив данных, а catboost ищет корреляции.
Когда я говорю "десятки террабайт" я имею ввиду оптимально оцифрованные данные (ну, например, категории это int'ы а не строки)
Я просто представляю себе catboost как черный ящик на вход которого подается массив данных, а catboost ищет корреляции.
Когда я говорю "десятки террабайт" я имею ввиду оптимально оцифрованные данные (ну, например, категории это int'ы а не строки)
SK
Фичи-документы это столбцы-строки? - да
CS
Добрый день. Функция cv принемает параметры folds и fold_count. На сколько я понял, folds — это классы из sklearn.model_selection, такие как KFold и др. Если задается параметр folds, fold_count игнорируется?