A
Спасибо
Size: a a a
2019 July 16
E
Ну вот как раз с функцией-то всё понятно. Возможно, есть механизм отлова при получении данных - до их вставки куда бы то ни было
if else хаххаха
dd
Спасибо
отпишитесь потом как что там, если будете ее использовать
E
просто не знаю зачем тут усложнять, если вопрос просто в том, прилетает ли нужный тип данных)
A
В 3 колонках, условно, должны быть числа, но когда-то прилетают буквы. Или NULL. Или ещё что.
YP
Как много данных прилетает и как быстро их надо обрабатывать?
A
100К строк, почистисть и вставить в mysql. Вопрос автоматизации чистки.
АМ
Если вы используете датафрейм, то тип колонки сразу же будет object, если вам прилетает среди int хотя бы одна строка. Найти значения в этой колонке, которые являются числами можно с помощью str.isnumeric. Как только нашли строки, чем loc можно сделать реплейс на какое-то число по умолчанию. Либо удалить строки.
А с null срабывать просто, в pandas есть fillna или dropna. В зависимости от того, что хочется
А с null срабывать просто, в pandas есть fillna или dropna. В зависимости от того, что хочется
A
Беда в том, что непонятно что прилетит. Исторические данные можно перелопатить функцией - и новые менять по аналогии.
Удалять - не вариант, надо менять по шаблону. Вот по этому шаблону и возник вопрос. Поковыряю https://github.com/rhiever/datacleaner
Удалять - не вариант, надо менять по шаблону. Вот по этому шаблону и возник вопрос. Поковыряю https://github.com/rhiever/datacleaner
E
Беда в том, что непонятно что прилетит. Исторические данные можно перелопатить функцией - и новые менять по аналогии.
Удалять - не вариант, надо менять по шаблону. Вот по этому шаблону и возник вопрос. Поковыряю https://github.com/rhiever/datacleaner
Удалять - не вариант, надо менять по шаблону. Вот по этому шаблону и возник вопрос. Поковыряю https://github.com/rhiever/datacleaner
Всмысле? Вы точно знаете, что должно быть число. Любой другой вариант в виде NULL, строки и т.д однозначно не подходит, так?
A
Просто аналогично нужно сделать и для других типов данных. У меня не хватает скилла предусмотреть все варианты.
E
Просто аналогично нужно сделать и для других типов данных. У меня не хватает скилла предусмотреть все варианты.
А их не так много будет
Вам нужно предусмотреть не тот тип данных и пропущенное значение)
Вам нужно предусмотреть не тот тип данных и пропущенное значение)
E
Беда в том, что непонятно что прилетит. Исторические данные можно перелопатить функцией - и новые менять по аналогии.
Удалять - не вариант, надо менять по шаблону. Вот по этому шаблону и возник вопрос. Поковыряю https://github.com/rhiever/datacleaner
Удалять - не вариант, надо менять по шаблону. Вот по этому шаблону и возник вопрос. Поковыряю https://github.com/rhiever/datacleaner
ааа до меня толькл дошло. Если число, то ок, если строка то обрезать по какому то шаблону ее? а если null?
E
Из вас клещами вытягивать детали надо😂
ФК
блин, вроде бы
1.простой fillna(0) для nan строк
2.простой Series.str.isnumeric() в качестве условия. Если false, то дропать строку или заменять на 0 лямбдой
1.простой fillna(0) для nan строк
2.простой Series.str.isnumeric() в качестве условия. Если false, то дропать строку или заменять на 0 лямбдой
ФК
ну еще можно проверить пустое значение, а не Null
ФК
той же лямбдой