АП
Хех.
1.3.3, старое.
1.3.3, старое.
Size: a a a
2019 October 16
EB
при том сайт, данные на котором спаршены с 2гиса
МС
мир тесен, сейчас проверял логи своих сайтов, нашел “Scrapy/1.3.3 (+http://scrapy.org)” в юсер агентах о_О
Тебя тырят, срочно ставь защиту🤬
EB
да хрен с ними, я всеравно для этого сайта парсил 2гис, просто интерестно смысл у меня парсить, а не у первоистояников
EB
это же нужно было парсер писать
EB
маджестик лицемеры, себя в хорших ботов засунули, а эхрефс в комерческих хД
2019 October 17
МС
Народ, чет конкретный затуп. Есть текст, в нем куча тегов "р", "br", как их поудалять, что бы визуальное форматирование (в плане переносов строк) осталось на месте?
АН
Народ, чет конкретный затуп. Есть текст, в нем куча тегов "р", "br", как их поудалять, что бы визуальное форматирование (в плане переносов строк) осталось на месте?
Не знаю как в рамках scrapy, а так я использовал html2text питоновский, вродь неплохо получалось
s
Народ, чет конкретный затуп. Есть текст, в нем куча тегов "р", "br", как их поудалять, что бы визуальное форматирование (в плане переносов строк) осталось на месте?
from w3lib.html import remove_tags
remove_tags(твой текст)
МС
угу, всем спс, попробую
s
угу, всем спс, попробую
расскажи потом, что помогло и что заюзал.
частенько такая задача возникает.
частенько такая задача возникает.
МС
кароч, насчет удаления тегов и с сохранием визуалного переноса строк
html2text - отлично работает "из коробки", только не разобрался с "single_line_break", по идее это "оставлять один перенос". Но у меня в тексте остается "\n\n", не копался, для меня не критично
закинет кто в FAQ ? или самому кидать?
from w3lib.html import remove_tags- работает как просто удаление тегов, переносы строк не добавляет
remove_tags(твой текст)
html2text - отлично работает "из коробки", только не разобрался с "single_line_break", по идее это "оставлять один перенос". Но у меня в тексте остается "\n\n", не копался, для меня не критично
закинет кто в FAQ ? или самому кидать?
B
закинь сам
АН
кароч, насчет удаления тегов и с сохранием визуалного переноса строк
html2text - отлично работает "из коробки", только не разобрался с "single_line_break", по идее это "оставлять один перенос". Но у меня в тексте остается "\n\n", не копался, для меня не критично
закинет кто в FAQ ? или самому кидать?
from w3lib.html import remove_tags- работает как просто удаление тегов, переносы строк не добавляет
remove_tags(твой текст)
html2text - отлично работает "из коробки", только не разобрался с "single_line_break", по идее это "оставлять один перенос". Но у меня в тексте остается "\n\n", не копался, для меня не критично
закинет кто в FAQ ? или самому кидать?
Мб подразумевается, что он уберет два br, \n могут и в тексте ведь быть
МС
закинь сам
брось ссыль, я опять ее пролюбил 😂
B
брось ссыль, я опять ее пролюбил 😂
прикреплена)
МС
прикреплена)
нэть
МС
я опять закрыл прилепку :)
B
Hooray! У нас открылся FAQ давайте его заполним лучшими практиками: https://github.com/bulatbulat48/ru-scrapy-python/blob/master/README.md
+
МС
мля, так вот что это за "ru-scrapy-python" 😂