Вообще-то GPT-3 нужна как раз для того, чтобы предоставлять какой-то контекст. Это ведь не "модель языка" (это название вводит в заблуждение). Это:
— модель языка (хороший такой парсер, ага)
— грубая модель мира (восстановленная из огромного числа текстов, по которым училась GPT-3)
— уточнённая модель мира (ибо сам стиль использования GPT-3 — это pretrain грубой модели и потом finetune уточнённой). Вот тут подразумевается как раз существенное уточнение возможных контекстов под целевое использование.
И не факт, что там сразу выходной текст идёт в дело, там могут быть ещё и какие-то слои обработки "как обычно" — синтаксические проверки, какие-то дополнительные проверки. Люди ж не дураки это всё делали, GPT-3 там только маленькая часть всей программы.
Про русскоязычную ruGPT-3 —
https://sbercloud.ru/ru/warp/gpt-3