D
сначала скармливается вводный текст от пользователя, это запоминает модель и пляшет от него
Size: a a a
2019 December 25
D
это типо долговременная память
D
а в кратковременной лог от пользователя и модели
AS
что такое лог от пользователя?
D
> действие
отклик
D
действие от пользователя
D
отклик от модели
AS
ты празднуешь рождество?
D
не католик
AS
это вопрос выбора церковью календаря, а не конфесии
AS
в Румынии православные празднуют сегодня например
D
да и куда мне вот с таким-то aidungeon на минималках
D
так про память понятно?
D(
отклик от модели
GPT в чистом виде не умеет в долговременную память, там тупо последние k токенов текста в модель подаются и все. Для задачи language modelling этого достаточно, если k большое достаточно. Если тебе нужны longer range dependencies, GPT не подойдет, нужно гуглить другие подходы.
D(
Хотя в качестве костыля можно предыдущий большой текст через суммаризатор какой-то прогонять, и в gpt это подавать.
AS
GPT в чистом виде не умеет в долговременную память, там тупо последние k токенов текста в модель подаются и все. Для задачи language modelling этого достаточно, если k большое достаточно. Если тебе нужны longer range dependencies, GPT не подойдет, нужно гуглить другие подходы.
while True:
raw_text = input("Model prompt >>> ")
while not raw_text:
print('Prompt should not be empty!')
raw_text = input("Model prompt >>> ")
context_tokens = enc.encode(raw_text)
generated = 0
for _ in range(nsamples // batch_size):
out = sess.run(output, feed_dict={
context: [context_tokens for _ in range(batch_size)]
})[:, len(context_tokens):]
в чем проблема подать больше k? или ты про обучение?
raw_text = input("Model prompt >>> ")
while not raw_text:
print('Prompt should not be empty!')
raw_text = input("Model prompt >>> ")
context_tokens = enc.encode(raw_text)
generated = 0
for _ in range(nsamples // batch_size):
out = sess.run(output, feed_dict={
context: [context_tokens for _ in range(batch_size)]
})[:, len(context_tokens):]
в чем проблема подать больше k? или ты про обучение?
D(
while True:
raw_text = input("Model prompt >>> ")
while not raw_text:
print('Prompt should not be empty!')
raw_text = input("Model prompt >>> ")
context_tokens = enc.encode(raw_text)
generated = 0
for _ in range(nsamples // batch_size):
out = sess.run(output, feed_dict={
context: [context_tokens for _ in range(batch_size)]
})[:, len(context_tokens):]
в чем проблема подать больше k? или ты про обучение?
raw_text = input("Model prompt >>> ")
while not raw_text:
print('Prompt should not be empty!')
raw_text = input("Model prompt >>> ")
context_tokens = enc.encode(raw_text)
generated = 0
for _ in range(nsamples // batch_size):
out = sess.run(output, feed_dict={
context: [context_tokens for _ in range(batch_size)]
})[:, len(context_tokens):]
в чем проблема подать больше k? или ты про обучение?
Если я правильно помню, ты не можешь подать на применении большее k чем было на обучении, т.к. для дальних токенов position embeddings не выучены.
AS
а они разве не считаются просто? там есть длина окна, для модели 117M она равна 1024 токенам
D
если опять надо менять модель то я хз
D
надо как-то примотать возможность долговременной памяти