M
150 / 200 попробуйте
Или придется как-то пачками загружать, как верно сказал Виталий
Или придется как-то пачками загружать, как верно сказал Виталий
Весь смысл в том что бы со всех таблиц данные собрать именно в один столбец
Size: a a a
2020 April 09
A
а с этим помогут авторы скрипта :)
И ты, наш топ-5, тоже посодействуешь )))
EN
Я переваривал более 100к строк суммарно
Что-то не то у вас. Попробуйте увеличить sleep
Что-то не то у вас. Попробуйте увеличить sleep
Важно не количество строк, а количество запросов (одна строка - один запрос)
VP
И ты, наш топ-5, тоже посодействуешь )))
Разумеется нет :)
сдается мне разбиение на пачки потребует отказа от одного forEach
сдается мне разбиение на пачки потребует отказа от одного forEach
M
я не знаю в чем это измеряетется, но я подумал что в миллисикиундах. поэтому поставил 1000, что бы наверняка. щас проверил и опять ошибка про 100. я вообще в том месте прописал ?
EN
Разумеется нет :)
сдается мне разбиение на пачки потребует отказа от одного forEach
сдается мне разбиение на пачки потребует отказа от одного forEach
Вообще эта квота - проблема. Даже если между запросами поставить интервал 2 секунды - есть шанс, что скрипт будет ругаться на превышение квоты 100 запросов к таблицам / 100 секунд. Кажется, что это или баг со стороны Google или сознательное закручивание гаек.
VP
доведение до пяти баксов в месяц)
EN
Мы просто все это тестировали уже несколько месяцев назад. Стабильно будет работать если ссылок не очень много. Но вот зато внутри них может быть сколько угодно строк.
EN
И это воможность собрать и миллион строк за раз, но этот миллион строк должен быть в небольшом количестве отдельных таблиц.
M
Мы просто все это тестировали уже несколько месяцев назад. Стабильно будет работать если ссылок не очень много. Но вот зато внутри них может быть сколько угодно строк.
как сделать что бы между ссылками был перерыв в запросе?
M
sleep не помогает(
EN
как сделать что бы между ссылками был перерыв в запросе?
Майк, а сколько у тебя ссылок?
EN
Сколько ссылок ты хочешь за раз собирать?
EN
Если 15, как сейчас в таблице - это должно работать без всяких слипов, тебе сейчас просто видимо троттлинг за попытку собрать 2к ссылок включили, он отключается через сутки
M
Сколько ссылок ты хочешь за раз собирать?
Мне все равно сколько за раз. У меня сейчас 45 таблиц. С каждыйм днем их будет все больше и больше. и мне надо что бы со всех таблиц данные собирались в один столбец
M
Если 15, как сейчас в таблице - это должно работать без всяких слипов, тебе сейчас просто видимо троттлинг за попытку собрать 2к ссылок включили, он отключается через сутки
я тогда через сутки попробую
A
как сделать что бы между ссылками был перерыв в запросе?
Полагаю, это уже дополнительная доработка - разумеется можно обговорить.
Чат предоставил улучшенное решение и кейс (по частым вопросам по сбору данных).
Чат предоставил улучшенное решение и кейс (по частым вопросам по сбору данных).
EN
Мне все равно сколько за раз. У меня сейчас 45 таблиц. С каждыйм днем их будет все больше и больше. и мне надо что бы со всех таблиц данные собирались в один столбец
А сколько внутри каждой таблицы будет строк, примерно?
M
А сколько внутри каждой таблицы будет строк, примерно?
примерно 1000
EN
примерно 1000
Угу, я попробую у себя, возможно если чередовать копирование / вставку, то будет работать без ошибок на квоту