NN
Dask подошёл
Во точно, Dask)
А у вас случайно не *.tsv был ?
А у вас случайно не *.tsv был ?
Во точно, Dask)
А у вас случайно не *.tsv был ?
Size: a a a
2019 April 20
V
У меня вообще без формата. Но может если как-то преобразовать...
read_csv работал, если что
read_csv работал, если что
A
чат, какой самый memory-efficient тип данных для времени?
чтобы им в датафрейме ворочать
чтобы им в датафрейме ворочать
V
Как можно ускорить процесс лемминга? Читаю датасет построчно, каждую строку разбиваю на слова, леммы. Много строк в датасете, порядочно выполняет.
A
Как можно ускорить процесс лемминга? Читаю датасет построчно, каждую строку разбиваю на слова, леммы. Много строк в датасете, порядочно выполняет.
чем лемматизируешь?
2019 April 21
V
чем лемматизируешь?
Nltk
A
а какой язык текстов?
V
Русский
A
Как можно ускорить процесс лемминга? Читаю датасет построчно, каждую строку разбиваю на слова, леммы. Много строк в датасете, порядочно выполняет.
профилировщиком находишь узкое место, от этого пляшешь
A
Русский
а чё тогда nltk, а не pymorphy2?
V
Он лучше?
A
попробуй)
V
Что быстрее нагуглилось))
V
Подскажите, пожалуйста
Есть df - dask dstaframe с колонкой a.
Хочу написал типо
tfidf_vectorizer.fit_transform(df[a] )
Но тип данных ему не нравится. И value, и tolist не подходят. Что ещё можно попробовать?
Есть df - dask dstaframe с колонкой a.
Хочу написал типо
tfidf_vectorizer.fit_transform(df[a] )
Но тип данных ему не нравится. И value, и tolist не подходят. Что ещё можно попробовать?
DR
а название колонки не надо строкой сделать? Ну а если это "типо" то лучше прислать точный код и текст ошибки
V
данные есть, колонка не пустая
R
Ну я тф идф с файла всегда читал, проблем не было. Напрямую с датафрейма не читал.
2019 April 22
VN
Всем привет, можете пожалуйста подсказать, как лучше смерджить два дата фрейма?
Размер df1 - (49203, 3)
Размер df2 - (47194, 3)
Есть ключ id
Но когда использую
Размер df1 - (49203, 3)
Размер df2 - (47194, 3)
Есть ключ id
Но когда использую
pd.merge(df1,df2, on="id", how="left") получаю огромный dfАМ
А точно ключи совпадают? Пришлите скриншоты head у df1 и df2