Али вроде как в Китае где-то должен находится, не знаю что выше тос или закон там

В рф скорее на 3 хакерских статьи смотреть + авторские права

Здравствуйте. Немного освежу беседу)
был у меня скрипт, который парсил теги с сайта(их там около 26к выходит). Решил переделать, к каждому тегу добивить словарь(сделать по труктуре {'tag': {...}, ...} и это все Json. Так вот, на такое, видимо не хватает оперативной памяти у компа, залагивает и перестает парсить. Загуглил scrapy Items - ситуация аналогичная, но может я что-то не так делаю?Есть вариант распределять все по разным json файлам, а потом из них все в кучу вбивать, но это халтура)

https://gist.github.com/D-Denysenko/7c22c1db7039a0adc5e98316f9ba68e5

скрапи?

да

если ничего там не накостылил, то можно включить в конфиге джобдир

по идее тогда все временное будет на диск писаться

ну а так только смотреть куда память девается или подключать свап

item[main_tag] = {'Alterate Forms': [tag for tag in html['alt_forms']],
                                                      'Related Topics': [tag for tag in
                                                                         html['facets'['related_topics']]}
оно, видимо, эту конструкцию в памяти держит, для каждого тега

еще хештаблица +30% дополнительно съедает

мерил?)

да, линейкой)

вообще как ни странно но она эффективнее просто листа))

освежим нашу беседу новым пакетом, только для python 3.6:
https://html.python-requests.org/
по факту тот же requests только умеет генерировать JS
прислано нашим анонимным читателем :)

анонимным админом?)

ну или так)))

что как оно кстати? пробывал?

пробовал, что-то не сгенерировало, но может косякнул где. Повисло на большом сайте

А зачем?