АМ
Ну и я бы наверно сделал так: один скрипт в multithreading вытаскивает данные и кладет их в папку кусками, а другой питоновский скрипт проверяет эту папку на наличие новых кусков и при появлении не обработанного куска загружает сразу в bigquery
Size: a a a
2019 March 26
АМ
Тогда не придется ждать пока все данные загрузятся, учитывая мультитрединг всё должно отрабатывать быстрее
АМ
Хотя, сейчас сюда могут понабежать разработчики и посоветовать более адекватное решение =)
OB
да блин сложнаа
OB
Но спасибо за идею :)
2019 March 27
M
Я отупел и сбою на мутинедксе.
M
M
M
Нужно отсортировать игроков по кол-ву годы (5 столбец от ноля) внутри команды. А значит r_ и d_ не должны смешиваться тоже.
R
Ml_course?)
M
Наверное, у меня спросили, сейчас вспоминаю.
2019 March 28
o
Ребят, всем привет. Поможете?
Каждый день мне присылают выгрузку с логами действий пользователей за прошедший день. Эта выгрузка в формате .csv , большая таблица.
Мне нужно импортировать все эти данные в amplitude, но файл который туда можно импортировать - другой структуры. У меня есть скрипт на ruby который батчит и передает все данные через API Amplitude.
То, в каком виде я получаю выгрузку: http://joxi.ru/Y2LEwp5h79n8WA
То, в какой вид мне нужно преобразовать: http://joxi.ru/Drl9d70IVv43Qm
Или он же в древовидном виде вот: http://joxi.ru/brRpwEZt7JQ3q2
Не знаете как это можно реализовать, и по возможности максимально автоматизировать? То есть по идее нужно как-до доставать значения из выгрузки, и перезаписывать в нужном виде в другой файл. Я, увы, такие задачи еще не решал
Каждый день мне присылают выгрузку с логами действий пользователей за прошедший день. Эта выгрузка в формате .csv , большая таблица.
Мне нужно импортировать все эти данные в amplitude, но файл который туда можно импортировать - другой структуры. У меня есть скрипт на ruby который батчит и передает все данные через API Amplitude.
То, в каком виде я получаю выгрузку: http://joxi.ru/Y2LEwp5h79n8WA
То, в какой вид мне нужно преобразовать: http://joxi.ru/Drl9d70IVv43Qm
Или он же в древовидном виде вот: http://joxi.ru/brRpwEZt7JQ3q2
Не знаете как это можно реализовать, и по возможности максимально автоматизировать? То есть по идее нужно как-до доставать значения из выгрузки, и перезаписывать в нужном виде в другой файл. Я, увы, такие задачи еще не решал
o
Я вот думаю, можно же на питоне скрипт простой написать, который циклом пробегается по каждой строке, объявляет переменные, берет их из этого файла и в нужном порядке и виде записывает в новый?
R
pandas.read_csv, pandas.to_json
o
pandas.read_csv, pandas.to_json
спасибо, буду смотреть!
2019 March 30
NN
Добрый вечер, а какой наилучший способ отправления фрейма телеграмм боту?
Я пока только смог текст отправить. Подскажите, каким образом можно представить фрейм как изображение и отправить его через телеграмм апи.(фрейм на пару строк и пару колонок)
Я пока только смог текст отправить. Подскажите, каким образом можно представить фрейм как изображение и отправить его через телеграмм апи.(фрейм на пару строк и пару колонок)
АМ
АМ
Выглядит лучше
2019 April 03
o
Ребят