AZ
Это плохо. Не делайте так
Ну, не то, чтобы плохо, но на гибкости и комплексности системы сказывается, да 🥴
Если просто страницы грабить, то есть
https://github.com/gocolly/colly
Size: a a a
2020 June 27
М
К сожалению там еще и редиректы от куратора надо делать, то есть как бы ждать полный networkidle2
и только потом собирать рендернутую страничку. причем классно совпало - жирные площадки по защите от парсинга хуже чем простенькие =) но понятно - админы видят растущий траффик, радуются, потом видят куорреляцию и плакают, банят все к чертям, а жирным ребятам пофигу =) так что... какий-нибудь циан парсится публичными проксями на сотни тысяч офферов в секунду
и только потом собирать рендернутую страничку. причем классно совпало - жирные площадки по защите от парсинга хуже чем простенькие =) но понятно - админы видят растущий траффик, радуются, потом видят куорреляцию и плакают, банят все к чертям, а жирным ребятам пофигу =) так что... какий-нибудь циан парсится публичными проксями на сотни тысяч офферов в секунду
ЮВ
Ребята подскажите, по структуре проекта.
Как правильно хранить структуры и интерфейсы?
У меня сейчас структуры находятся в тех же пакетах где и используются.
Правильно ли это?
Или должна быть отдельная папка под структуры и интерфейсы?
А в нужных местах в разных пакетах, я делаю импорты необходимых структур?
Вообще есть рекомендации по структуры гошных проектов?
Организация папок?
Есть доки где или примеры труе практики.
Как правильно хранить структуры и интерфейсы?
У меня сейчас структуры находятся в тех же пакетах где и используются.
Правильно ли это?
Или должна быть отдельная папка под структуры и интерфейсы?
А в нужных местах в разных пакетах, я делаю импорты необходимых структур?
Вообще есть рекомендации по структуры гошных проектов?
Организация папок?
Есть доки где или примеры труе практики.
AZ
Довольно широкий вопрос, но если коротко - все норм
Про структуру проекта - можно взять отсюда банально из-за того, что ее уже многие используют. https://github.com/golang-standards/project-layout
Про структуру проекта - можно взять отсюда банально из-за того, что ее уже многие используют. https://github.com/golang-standards/project-layout
DB
Ребята подскажите, по структуре проекта.
Как правильно хранить структуры и интерфейсы?
У меня сейчас структуры находятся в тех же пакетах где и используются.
Правильно ли это?
Или должна быть отдельная папка под структуры и интерфейсы?
А в нужных местах в разных пакетах, я делаю импорты необходимых структур?
Вообще есть рекомендации по структуры гошных проектов?
Организация папок?
Есть доки где или примеры труе практики.
Как правильно хранить структуры и интерфейсы?
У меня сейчас структуры находятся в тех же пакетах где и используются.
Правильно ли это?
Или должна быть отдельная папка под структуры и интерфейсы?
А в нужных местах в разных пакетах, я делаю импорты необходимых структур?
Вообще есть рекомендации по структуры гошных проектов?
Организация папок?
Есть доки где или примеры труе практики.
@
Ребята подскажите, по структуре проекта.
Как правильно хранить структуры и интерфейсы?
У меня сейчас структуры находятся в тех же пакетах где и используются.
Правильно ли это?
Или должна быть отдельная папка под структуры и интерфейсы?
А в нужных местах в разных пакетах, я делаю импорты необходимых структур?
Вообще есть рекомендации по структуры гошных проектов?
Организация папок?
Есть доки где или примеры труе практики.
Как правильно хранить структуры и интерфейсы?
У меня сейчас структуры находятся в тех же пакетах где и используются.
Правильно ли это?
Или должна быть отдельная папка под структуры и интерфейсы?
А в нужных местах в разных пакетах, я делаю импорты необходимых структур?
Вообще есть рекомендации по структуры гошных проектов?
Организация папок?
Есть доки где или примеры труе практики.
Правильно. Не надо выносить структуры
ЮВ
Правильно. Не надо выносить структуры
Спасибо!
SZ
Приветствую, подскажите по такой конструкции кода и как лучше переделать
import (
"database/sql"
...
_ "github.com/go-sql-driver/mysql" // приходится делать импорт так, иначе редактор убирает импорт и тогда мускул не пашет
)
...
db, err := sql.Open("mysql", cfg.GOMYSQL) // И где-то там вдали происходит это
а у вас какой редактор? Видел по этому случаю заведенный баг для vscode, и его как-будто пофиксили, но все равно проявляется. Помогает только явное использование чего-нить из пакета-драйвера
SZ
меняли что-то в конфиге?
Y
Потому что внутри пакета go-sql-driver при импорте вызывается init, который регистрирует драйвер в реестре для database/sql
О, а я думал еще как это устроено, спасибо)
AZ
Если есть возможность - лучше проинициализировать все ключевые штуки в мейне
Y
Если есть возможность - лучше проинициализировать все ключевые штуки в мейне
А почему?
с
потому что код всегда выполняется при импорте пакета
потому что что-то происходит где-то и вы об этом, скорее всего, не знаете
потому что что-то происходит где-то и вы об этом, скорее всего, не знаете
AZ
Скорее всего в init() присутствует логика либо старта приложения, либо логика инициализации пакета/библиотеки.
В первом случае можно воспользоваться init, но это никак не будет отличаться от вызова того же самого в мейне.
Во втором случае, если у библиотеки есть инициализация - то, скорее всего, в ней есть логика, которая может вернуть ошибку - в таком случае лучше явно вернуть ошибку вызывающему пакет, чем, например, вызывать панику
В первом случае можно воспользоваться init, но это никак не будет отличаться от вызова того же самого в мейне.
Во втором случае, если у библиотеки есть инициализация - то, скорее всего, в ней есть логика, которая может вернуть ошибку - в таком случае лучше явно вернуть ошибку вызывающему пакет, чем, например, вызывать панику