Наверное вот это https://swarm64.com/post/postgres-hardware-acceleration-2020/

правильно, не 200к, а под 100к. Забыл, что я в две порции закидывал, правда там три столбца вместо двух, итого ну пусть будет 150к/с

t = time()

buffer0 = StringIO()
buffer0.write('\n'.join((f'{ts}\t{qts_lst[i]}\t{values[i]}' for i, ts in enumerate(timestamps))))

print(time() - t) #60c

t = time() 

buffer0.seek(0)
with closing(psycopg2.connect(**params)) as conn:
    with conn.cursor() as cursor:
        cursor.copy_from(buffer0, tablename, columns=('ts','qts', 'value'))
        conn.commit()
        
print(time() - t) #340c
# итого 37760000/(60+340) = 94400.0

ну да. Три столбаца, два индекса были 100к/с, а два столбца один индекс смело 160к/с заливал.

допустим. а в тнт пихали тоже одним коммитом?

вот такой хранимкой пробую писать
function insert_many_pairs(ts_list, val_list)
for i, ts in ipairs(ts_list) do
   t = box.tuple.new({ts, val_list[i]})
   box.space.test_scores:insert(t)
end
end

пробовал лить чанками по 10, 100, 1000, 10000 и 100000

10 - 17тыс/с
100 - 31 тыс/с
1000 - 34.4 тыс/с
10000 -  34.4 тыс/с
100000 - 34.4 тыс/с

это провал )
оберните цикл в box.begin()/box.commit()

ааааа)

👍 благодарю

и если сравнивать в лоб - то надо и в тнт прям одной пачкой умять

мегабайт 200, выходит?

ну мегабайт двадцать, если миллион записей. Там полезной нагрузки 16 байт на запись, плюс всякие байтики меседжпаков, наверное + заголовок самого тарантульного месседжа

t = time()

buffer0 = StringIO()
buffer0.write('\n'.join((f'{ts}\t{qts_lst[i]}\t{values[i]}' for i, ts in enumerate(timestamps))))

print(time() - t) #60c

t = time() 

buffer0.seek(0)
with closing(psycopg2.connect(**params)) as conn:
    with conn.cursor() as cursor:
        cursor.copy_from(buffer0, tablename, columns=('ts','qts', 'value'))
        conn.commit()
        
print(time() - t) #340c
# итого 37760000/(60+340) = 94400.0

ну тут про 40млн записей написано

ну я так много в мемтх стараюсь не писать, он ругается, бенчмаркать и миллиона хватит)

ААААААА! Но как? почему коммит так всё ускорил!
Миллиона записей за 5.8 секунд! Это победа!

потому что вы на диск записали один раз, а не миллион

172 к/с, ееее