AB
Если сделаешь шаблон страницы, могу автоматом раз в неделю обновлялку запустить.
Size: a a a
2017 May 19
AB
Скинь категории в тикет opendataby/tools.
AB
От блин. Оказывается я не закоммитил парсер до конца. И никто тикет не создал.
AB
Толя, по 115.бел я тут посидел 4 дня, добавил человеческие категории и подкатегории к каждой заявке и вытащил следующие интересные наблюдения из того датасета, что ты скачал - за последние 4 месяца количество юзеров выросло почти вдвое, женщины начинают активнее давать заявки, но всё равно их очень мало (почему из топ200 самых активных пользователей только 36 женщин? ), топ200 самых активных пользователей обеспечили 14300 заявок, т.е. почти четверть всех заявок! и это для всего Минска, большинство юзеров оставили по одной заявке и не вернулись на сайт, улица Слободская в Малиновке - рекордсмен по безрезультатности (заявки отклоняют пачками). НО данные устаревают уже, тк. в старой табличке были данные только до 01.04.2017, т.е. 63543 заявок. А на сегодня уже 68 126 заявок.
Сложно ли сейчас попробовать скачать новый датасет завтра, например? @abitrolly
Сложно ли сейчас попробовать скачать новый датасет завтра, например? @abitrolly
Новый датасет смотри по ссылке выше. Я создал тикет для новостей - https://github.com/opendataby/website/issues/11 - с данными о том, сколько мы суммарно времени потратили, надо дополнять. =) Про категории сейчас отдельно тикет сделаю.
GK
супер, спасибо, Толя!
GK
один вопрос - там файл с данными за март (дата на 01.04), он сгенерирован когда? если мы его сгенерировали 01.04, то за месяц в нём поменялись статусы. т.е. по идее, данные с окончательными статусами нужно парсить всегда месяц позже
GK
иначе там навсегда у нас в датасете останутся статусы "в работе" для заявок с марта, которые за этот прошедший месяц апрель уже закрыли или отклонили
GK
правда, ещё остаётся проблемка с заявками "на контроле" (например, если инвалид не может преодолеть бордюр во дворе и открывает про неправильный бордюр заявку, то она может висеть до решения в среднем 188 дней как я посмотрел - в некоторых случаях и год и больше)
AB
Всё перегенерируется с нуля на сегодняшнюю дату.
GK
о, крутизна!
AB
Все статусы за март обновляются.
AB
Дык. :)
GK
а дополнительные поля (описание проблемы, или ещё и ответ коммунальщиков) забирать оттуда нельзя?
AB
Надо отдельный тикет добавлять и смотреть, а я ещё категории не добавил. Вы там за встречу много вторичных данных нагенерили. Их тоже было бы неплохо в генератор запихать.
AB
Если найти откуда забирать, то можно забрать. Если на сайте есть, то можно вытащить.
AB
Главное, чтобы сайт не слёг. :)
GK
ну вопрос пока теоретический
GK
а из вторичных данных только статусы и категории. по идее, я их могу и вручную ставить
AB
Теоретически проблем нет.