Size: a a a

Django [ru] #STAY HOME

2020 March 22

DT

Dan Tyan in Django [ru] #STAY HOME
по сути тебе и пароль не нужен
источник

r

rtme in Django [ru] #STAY HOME
есть кто данными по автозапчастям занимался агрегацией, парсингом и тд ? задать пару вопросов в частности интересуют крупные источники данных.

и на сколько этично будет получить доступ к нескольким платным апи + скрапинг с крупных игроков, почистить и слить с них в одну бд ? подвохи, камни, и тд. может помечают как-то данные.


+ может на джангу уже есть какие-то кластеризаторы по авто теме, поделитесь инфой.
источник

Z

Zakhar in Django [ru] #STAY HOME
Dan Tyan
по сути тебе и пароль не нужен
r = requests.post(url, params = {'grant_type': 'Password Credenials', 'username’:username, 'password': password}).json()

{'error': 'unauthorized', 'error_description': 'Full authentication is required to access this resource'}
источник

Z

Zakhar in Django [ru] #STAY HOME
Dan Tyan
по сути тебе и пароль не нужен
Туда ведь передаются еще client_id, client_secret, redirect_uri
источник

R

Roomboy in Django [ru] #STAY HOME
Когда мы обрабатываем формы в функциях, все данные берем из переменной form, через атрибут cleaned_data (1 скрин). Но если обрабатываем формы через классы (CBV), то у переменной form нет атрибута cleaned_data, правильно ли я делаю что беру данные формы через request.POST (2 скрин)?
источник

R

Roomboy in Django [ru] #STAY HOME
источник

DT

Dan Tyan in Django [ru] #STAY HOME
прилетает
источник

R

Roomboy in Django [ru] #STAY HOME
Dan Tyan
прилетает
Действительно, я чет притупил немного, спасибо
источник

DT

Dan Tyan in Django [ru] #STAY HOME
Roomboy
Действительно, я чет притупил немного, спасибо
а если использовать ModelForm
то cleaned_data вообще не нужен
форма сама сохранит
источник

R

Roomboy in Django [ru] #STAY HOME
Dan Tyan
а если использовать ModelForm
то cleaned_data вообще не нужен
форма сама сохранит
Не, у меня там не простая логика. Несколько Choices (всегда разное количество) нужно их сохранить и привязать к вопросу
источник

МП

Михаил Павлов in Django [ru] #STAY HOME
rtme
есть кто данными по автозапчастям занимался агрегацией, парсингом и тд ? задать пару вопросов в частности интересуют крупные источники данных.

и на сколько этично будет получить доступ к нескольким платным апи + скрапинг с крупных игроков, почистить и слить с них в одну бд ? подвохи, камни, и тд. может помечают как-то данные.


+ может на джангу уже есть какие-то кластеризаторы по авто теме, поделитесь инфой.
Собрать базу которая из данных в открытом доступе это законно. Использование данных нужно смотреть в правилах пользования сайта.
источник

МП

Михаил Павлов in Django [ru] #STAY HOME
Вообще это к юристам и мне было бы тоже интерсно об этом узнать
источник

МП

Михаил Павлов in Django [ru] #STAY HOME
источник

r

rtme in Django [ru] #STAY HOME
Михаил Павлов
Собрать базу которая из данных в открытом доступе это законно. Использование данных нужно смотреть в правилах пользования сайта.
впринципи проблема сбора отошла на второй план ) большей проблемой оказалась приведение данных к какому то общему виду, очистка и актуализация. там полная дичь в геометрической прогрессии )

на очистку данных даже топчики забивают )
источник

МП

Михаил Павлов in Django [ru] #STAY HOME
» на очистку данных даже топчики забивают )
Что значит "топчики забивают"?
источник

МП

Михаил Павлов in Django [ru] #STAY HOME
Даже те кто ранжируется в ПС на первых местах не чистят данные после скрапинга? 😄
источник

r

rtme in Django [ru] #STAY HOME
Михаил Павлов
» на очистку данных даже топчики забивают )
Что значит "топчики забивают"?
Крупные сайты, видно данные с мусором из csv проскакивают.
источник

r

rtme in Django [ru] #STAY HOME
Михаил Павлов
Даже те кто ранжируется в ПС на первых местах не чистят данные после скрапинга? 😄
ага )
источник

МП

Михаил Павлов in Django [ru] #STAY HOME
Если есть какая-то идея для стартапа в интернете, наверняка ее уже кто-то реализовал и скорее всего не один раз. Где-то там есть чистая база.
источник

r

rtme in Django [ru] #STAY HOME
а все те кто продаёт доступ к апи берут все из тех же источников )
короче тырнет повсюду и кто-то первый парсит pdfки )
источник