model quantization
entry 477
llama.cpp projesi olmasa bu kadar yaygınlaşmazdı.
model quantization başlığındaki diğer entryler
4-bit veya 8-bit sıkıştırma ile modellerin kalitesinden neredeyse hiç ödün vermeden çalıştırabiliyoruz.
ekran kartı vram'i yetmeyenlerin kurtarıcısı.