Кстати. Для таких задач с нехваткой аппартаных ресурсов, мб имеет смысл делать всё на англ и переводить конечный результат. Хз какой у квен токенизатор, но подозреваю что не особо заточенный на русский. С английским в контекст больше влезет и меньше будет дрифта.
З.Ы. Проверил на скорую руку – токенизатор не совсем говно, но выигрыш таки есть и мб имеет смысл с таким железом.
Кстати. Для таких задач с нехваткой аппартаных ресурсов, мб имеет смысл делать всё на англ и переводить конечный результат. Хз какой у квен токенизатор, но подозреваю что не особо заточенный на русский. С английским в контекст больше влезет и меньше будет дрифта.
З.Ы. Проверил на скорую руку – токенизатор не совсем говно, но выигрыш таки есть и мб имеет смысл с таким железом.
На полном тексте 1268 vs 820 токенов, не в два раза разница конечно, но всё же.
Скорее всего у тебя все источники на русском и мб много гемора будет туда-сюда переводить.
Надо ещё отдельно проверить качество перевода. Но я подозреваю что перевод сожжет больше времени, чем оверхед от токенизации с русского.