Практически все нормальные, только одну дату в тезисах переврало, но это в итоговое эссе не попало. Температура 0.3 это порешала, правда текст скучноват, но такая была и цель в данном случае. Хотел проверить, насколько мало переврать оно может.
Там есть пара сильных косяков в плане самой формулировки предложений, с ног на голову перевернуло. Это легко было бы подправлено вручную, если бы я использовал этот текст куда-то.
Конечно, нельзя от 1.5B модели ожидать что она сама все верно напишет. В целом, то что получилось, превзошло мои ожидания. Потому что когда я пытался сделать то же самое “в лоб”, на знаниях модели, оно мне рассказывало что Наполеон Третий напал на Суворова в ходе ВОВ. А тут, практически все по фактам.
Кстати. Для таких задач с нехваткой аппартаных ресурсов, мб имеет смысл делать всё на англ и переводить конечный результат. Хз какой у квен токенизатор, но подозреваю что не особо заточенный на русский. С английским в контекст больше влезет и меньше будет дрифта.
З.Ы. Проверил на скорую руку – токенизатор не совсем говно, но выигрыш таки есть и мб имеет смысл с таким железом.
Практически все нормальные, только одну дату в тезисах переврало, но это в итоговое эссе не попало. Температура 0.3 это порешала, правда текст скучноват, но такая была и цель в данном случае. Хотел проверить, насколько мало переврать оно может.
Там есть пара сильных косяков в плане самой формулировки предложений, с ног на голову перевернуло. Это легко было бы подправлено вручную, если бы я использовал этот текст куда-то.
Конечно, нельзя от 1.5B модели ожидать что она сама все верно напишет. В целом, то что получилось, превзошло мои ожидания. Потому что когда я пытался сделать то же самое “в лоб”, на знаниях модели, оно мне рассказывало что Наполеон Третий напал на Суворова в ходе ВОВ. А тут, практически все по фактам.
Кстати. Для таких задач с нехваткой аппартаных ресурсов, мб имеет смысл делать всё на англ и переводить конечный результат. Хз какой у квен токенизатор, но подозреваю что не особо заточенный на русский. С английским в контекст больше влезет и меньше будет дрифта.
З.Ы. Проверил на скорую руку – токенизатор не совсем говно, но выигрыш таки есть и мб имеет смысл с таким железом.
На полном тексте 1268 vs 820 токенов, не в два раза разница конечно, но всё же.
Скорее всего у тебя все источники на русском и мб много гемора будет туда-сюда переводить.
Надо ещё отдельно проверить качество перевода. Но я подозреваю что перевод сожжет больше времени, чем оверхед от токенизации с русского.