Intel(R) Xeon(R) CPU E5-2640 v4 @ 2.40GHz
Как шикарно это выглядит https://ibb.co/jPNVw0Zh Немножко неудобно что 20 строчек в htop заняты.
Осталось планок оперативы докупить. Вот такая плашка в комплекте была https://ibb.co/9kGqX5YW Подскажите, это точно ECC REG?
Расскажи, есть ли смысл на хеоне держать llama.cpp. И выдай тайминги компиляции ведра. Какой-нибудь defconfig на какой-нибудь версии собери и выдай время, дистр и версию компилятора.
Пожалуйста.
Когда придёт оперативная память, проведу тесты. Но у меня 10 ядерный xeon, если бы я хотел бы нейросети на нём запускать, то купил бы с большим числом ядер и меньшими частотами. Хотя, это тоже фигня, для бюджетного запуска нейросетей V100 лучше покупать.
Никогда раньше этим не занимался, поэтому уточни как и что компилировать.