Size: a a a

Генератор непрочитанных сообщений

2020 March 13

P

Panda🤔 in Генератор непрочитанных сообщений
Daria Motorina
можешь подсказать - ты как-то валидировал успешное скачивание (что файл корректен после скачивания), и если сервер раздачи статики нетривиальный, например акамаи, то без проксей никак? Если руками скачиваю из браузера, то он спокойно отдает, если начинаю парсить, то он блочит часть запросов
Не, не валидировал. Да, прокси юзал. Писал сервис ротаций прокси. Кидал ей список проксей и оно по кругу брало, если какая-то отваливалась
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
Daria Motorina
можешь подсказать - ты как-то валидировал успешное скачивание (что файл корректен после скачивания), и если сервер раздачи статики нетривиальный, например акамаи, то без проксей никак? Если руками скачиваю из браузера, то он спокойно отдает, если начинаю парсить, то он блочит часть запросов
не скачивай слишком быстро
скачивай с теми же заголовками в запросе
имитируй поведение пользователя
источник

DM

Daria Motorina in Генератор непрочитанных сообщений
Panda🤔
Не, не валидировал. Да, прокси юзал. Писал сервис ротаций прокси. Кидал ей список проксей и оно по кругу брало, если какая-то отваливалась
понятно, спасибо)
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
если он браузер не блочит, то и парсер не должен (если не нарушать лимиты)
источник

АЯ

Андрей Ява in Генератор непрочитанных сообщений
Artem Molotov
в очередной раз захерачил метод с названием в 60 символов
Нельзя так
источник

АЯ

Андрей Ява in Генератор непрочитанных сообщений
Декомпозируй
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
Андрей Ява
Декомпозируй
это название теста
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
testAuthIsRequiredForAllRoutesExcludeSkipAuthRoutes
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
вот пример
источник

P

Panda🤔 in Генератор непрочитанных сообщений
Андрей Ява
Декомпозируй
О я б тебе показал какие шедевры я писал на мондотюнсе
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
Panda🤔
О я б тебе показал какие шедевры я писал на мондотюнсе
у меня есть шедевр в стиле процедурщины, который я написал без единого класса с голым curl
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
там 3 файлика
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
выглядит невероятно ужасно, но успешно работает уже 4ый год и менять ни разу не приходилось
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
ужс
источник

АЯ

Андрей Ява in Генератор непрочитанных сообщений
Artem Molotov
testAuthIsRequiredForAllRoutesExcludeSkipAuthRoutes
А, так это тест. Ну тогда норм
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
Андрей Ява
А, так это тест. Ну тогда норм
бывало и не в тестах, но щяс вряд ли найду
источник

AM

Artem Molotov in Генератор непрочитанных сообщений
вроде метод репозитория был с названием подобной длины
источник

АЯ

Андрей Ява in Генератор непрочитанных сообщений
Короч. Если у вас в методе больше десяти строк логики (исключая всякие сеты данных там) - значит он сильно жирный и умеет несколько вещей сразу. Его стоит разделить на несколько (приватных, которые можно вызвать из одного)
источник

АЯ

Андрей Ява in Генератор непрочитанных сообщений
Емли название метода больше 20 символов - звоночек. Больше 30 - уже прям совсем нехорошо.
источник

P

Panda🤔 in Генератор непрочитанных сообщений
Андрей Ява
Емли название метода больше 20 символов - звоночек. Больше 30 - уже прям совсем нехорошо.
открываю я тут значит твой код...
источник