AI
Кто-то импортил много данных с csv в sqlite на руби?
activerecord-import гем.
Size: a a a
2019 August 16
AI
Если коротко - тебе надо делать это в SQL транзакции
AI
Оно на порядки быстрее работает если делать bulk запросы, ибо оно каждый запрос через журнал гоняет
RM
activerecord-import гем.
Без гемов
AI
Без гемов
Post.transation do
Post.create()
Post.create()
...
end
Post.create()
Post.create()
...
end
AI
Главное все сразу не засовывать, а пачками, допустим штук по 1000 (подбери экспериментально)
AI
posts.each_slice(50) do |slice|
Post.transaction do
slice.each do |post|
Post.create(post)
end
end
end
Post.transaction do
slice.each do |post|
Post.create(post)
end
end
end
AI
Как вариант.
RM
posts.each_slice(50) do |slice|
Post.transaction do
slice.each do |post|
Post.create(post)
end
end
end
Post.transaction do
slice.each do |post|
Post.create(post)
end
end
end
Без AR
AI
Без AR
posts.each_slice(50) do |slice|
sql_execute('BEGIN;')
slice.each do |post|
sql_execute("INSERT INTO BLAHBLAH #{post.field}")
end
sql_execute('COMMIT;')
end
sql_execute('BEGIN;')
slice.each do |post|
sql_execute("INSERT INTO BLAHBLAH #{post.field}")
end
sql_execute('COMMIT;')
end
AI
только не говори что надо без руби это делать, а то я повешусь.
RM
только не говори что надо без руби это делать, а то я повешусь.
)
AI
https://stackoverflow.com/questions/14947916/import-csv-to-sqlite
Вот еще смотри что есть, если задача одноразовая
Вот еще смотри что есть, если задача одноразовая
RM
https://stackoverflow.com/questions/14947916/import-csv-to-sqlite
Вот еще смотри что есть, если задача одноразовая
Вот еще смотри что есть, если задача одноразовая
Ок, спасибо
S
а дайте линку на старую группу с руби, без рельсы
AI
а дайте линку на старую группу с руби, без рельсы
AI
а дайте линку на старую группу с руби, без рельсы
Оно как бы везде с рельсами )
S
👍
там вроде били палками за рельсу, и мне это нравилось.
спасибо
там вроде били палками за рельсу, и мне это нравилось.
спасибо
AI
👍
там вроде били палками за рельсу, и мне это нравилось.
спасибо
там вроде били палками за рельсу, и мне это нравилось.
спасибо
неправда, никогда не били.
RM
👍
там вроде били палками за рельсу, и мне это нравилось.
спасибо
там вроде били палками за рельсу, и мне это нравилось.
спасибо
Я тоже не помню такого)