Size: a a a

2021 June 23

МС

Михаил Синегубов... in Scrapy
я понял, что ничего не понял....
это значит "все норм" или "оно не работает"
источник

in Scrapy
2 вариан
источник

МС

Михаил Синегубов... in Scrapy
https://t.me/pyTelegramBotAPI_talks_ru - попробуй там спросить, тогда
источник

in Scrapy
сам нашел на сайте телеграма
источник

in Scrapy
немного отличается от этого
источник

К

Кот in Scrapy
Здравствуйте, ребят! Такой вопрос - имеется сайт, который нужно парсить, отправлять ему номер тс, а в ответ он выдаёт по нему инфу. Номер передаётся через форму, вот только форма эта с гугл капчей. Ну да ладно.  После, форма  ввода редиректит на страницу с инфой по номеру этого тс, при чём юрл на который редиректит форма вполне нормальный с гет параметрамми, и тупо по нему можно парсить html. Вот только есть также одно но. Гет параметром является md5 хеш, и вообще не понятно как его расшифровать, чтобы потом можно было самому его генерировать под нужный номер.  Подскажите в какую сторону копать??

Хеш выглядит вот так: CD90C034B5326508B5F5E623B4A7C5FBA1409E9B54E0C78D889F675C07808D3D2C1E9AA2541FB8449D2096F7DA6867116A5819A6CA484C4B5053AB1DBCC5C0B4BBFB1F8AF8B8609D4FAA136426B12CE2
источник
2021 June 24

AK

Andrei Kisel in Scrapy
хэш расшифровать невозможно по определению. это дорога в одну сторону. гарантируется что для одинаковых входных данных, хэш будет одинаковый.
источник

i

i in Scrapy
чет не похоже это на md5, там же вроде длина 32 символа, нет?
источник

i

i in Scrapy
ну во-первых есть коллизии, а во-вторых md5 уже давнооо "взломан" емнип, даже на цпу пару секунд занимает, не говоря про gpu: https://en.wikipedia.org/wiki/MD5#Security
источник

i

i in Scrapy
"The security of the MD5 hash function is severely compromised. A collision attack exists that can find collisions within seconds on a computer with a 2.6 GHz Pentium 4 processor (complexity of 224.1).[19] Further, there is also a chosen-prefix collision attack that can produce a collision for two inputs with specified prefixes within seconds, using off-the-shelf computing hardware (complexity 239).[20] The ability to find collisions has been greatly aided by the use of off-the-shelf GPUs. On an NVIDIA GeForce 8400GS graphics processor, 16–18 million hashes per second can be computed. An NVIDIA GeForce 8800 Ultra can calculate more than 200 million hashes per second.[21]"
источник

i

i in Scrapy
я даже боюсь предположить какая скорость будет на 10х gtx и тем более на rtx
источник

i

i in Scrapy
*занимает найти коллизию
источник

AK

Andrei Kisel in Scrapy
атака через коллизии и расшифровка хэша, это разные вещи.
источник

i

i in Scrapy
ну так-то да, войну и мир по 32 символам не восстановить, это больше добавление
источник

i

i in Scrapy
другое дело, что это не хэш md5 (ну или я ошибаюсь), может это несколько хэшей в 1й строке?
источник

i

i in Scrapy
160 знаков
источник

i

i in Scrapy
в принципе делится на 5 хэшей, но ничо не находится, либо соль там еще, либо что-то специфичное, либо лично я вообще не в ту сторону копаю)
источник

i

i in Scrapy
print(textwrap.wrap(a, 32))
['CD90C034B5326508B5F5E623B4A7C5FB', 'A1409E9B54E0C78D889F675C07808D3D', '2C1E9AA2541FB8449D2096F7DA686711', '6A5819A6CA484C4B5053AB1DBCC5C0B4', 'BBFB1F8AF8B8609D4FAA136426B12CE2']
источник

К

Кот in Scrapy
Согласен, что не похоже, просто там в заголовке написано мол md=.... . Значит в таком случае нужно обходить гугль капчу, что также вызывает проблемы. Как вы обходите капчу при парсинге(отображается только когда видит что-то подозрительное)? Я бы мог отправлять пост запрос на сервер, который бы мне возвращал ссылку на страницу с результатом, но одним из передаваемых параметров ему нужно давать google-recaptcha-responce, который генерится а потом проверяется Гуглом.
источник

AR

Andrey Rahmatullin in Scrapy
Как обычно, прокси, хедеры
источник