Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2021 February 24

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Связано с тем, что вы учавствуете в наращивании капиталла, если вы его не наращиваете, и это сделано не обоснованно - это "бесполезные издержки"
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Одно из ключевых отличий исследовательской деятельности и коммерческой. Все, что связано с исследованиями в общем виде не приносит деньги и не решает ничью головную боль, которая измереяется в деньгах/секунду или сокращение времени работы или любой другой ресурс
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Собсна, об этом написал Админ выше.
источник

АК

Андрей Копылов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey L
Одно из ключевых отличий исследовательской деятельности и коммерческой. Все, что связано с исследованиями в общем виде не приносит деньги и не решает ничью головную боль, которая измереяется в деньгах/секунду или сокращение времени работы или любой другой ресурс
Вы не поверите, но бизнес - это сплошное исследование)
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Не поверю, я ж этим не занимаюсь (сарказм)
источник

АК

Андрей Копылов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey L
Не поверю, я ж этим не занимаюсь (сарказм)
И ваш бизнес не занимается никакими исследованиями?)
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Я же специально даже выделил это, как сарказм😂
источник

RY

Ruslan515 Y in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
сорян, если глупый вопрос. как из csv прочитать строки с определенным индексом? файл большой, в память не лезет. я знаю индексы, и мне нужны именно эти строки
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ruslan515 Y
сорян, если глупый вопрос. как из csv прочитать строки с определенным индексом? файл большой, в память не лезет. я знаю индексы, и мне нужны именно эти строки
Самое простое, идти по файлу и читать построчно, но сохранять в память только строки с нужным индексом
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ruslan515 Y
сорян, если глупый вопрос. как из csv прочитать строки с определенным индексом? файл большой, в память не лезет. я знаю индексы, и мне нужны именно эти строки
Всякая магия с вычислением места в файле, где нужная строка, ломается об то, что строки могут быть разного размера
источник

AY

Alexey Yurasov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ruslan515 Y
сорян, если глупый вопрос. как из csv прочитать строки с определенным индексом? файл большой, в память не лезет. я знаю индексы, и мне нужны именно эти строки
Pandas
источник

SZ

Sergei Zotov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
> в память не лезет
> Pandas

seems legit
источник

SZ

Sergei Zotov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dask, Vaex можно попробовать. Ну и скорее всего это можно сделать каким-нибудь простым решением через терминальные команды, грепы всякие и т.д.
источник

RY

Ruslan515 Y in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
наверное не дал конкретику и пишете, то, что знаю) в таблице 10М записей. нужно вытащить 200К записей который разбросаны по таблице. я лишь знаю их индексы
источник

SZ

Sergei Zotov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ruslan515 Y
наверное не дал конкретику и пишете, то, что знаю) в таблице 10М записей. нужно вытащить 200К записей который разбросаны по таблице. я лишь знаю их индексы
Ну я говорю, самое простое — читать построчно. При определенных манипуляциях это можно даже параллельно делать
источник

RY

Ruslan515 Y in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
ок. спасибо
источник

AY

Alexey Yurasov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ruslan515 Y
наверное не дал конкретику и пишете, то, что знаю) в таблице 10М записей. нужно вытащить 200К записей который разбросаны по таблице. я лишь знаю их индексы
Я думал даску вообще все равно, сколько миллионов записей
источник

SZ

Sergei Zotov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
да, Dask'у все равно, потому что он чанками вычитывает
источник

SZ

Sergei Zotov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vaex'у тоже. Но проще всего awk'ом как выше написал
источник