Semafold: daha küçük vektörler, ölçülebilir sonuçlar | Mindtro

Semafold, yapay zekâ sistemlerinin kullandığı sayısal temsilleri sıkıştıran açık kaynak Python kütüphanemizdir. Embedding depolama alanını azaltmak ve modelin dikkat mekanizmasındaki önbellek verilerini küçültmek için kullanılır. Kazanılan alan ile sıkıştırmanın oluşturduğu hata birlikte ölçülür.

Sentetik ölçüm · kaynak rapor 0.1.0, 31 Mart 2026 · incelenen kütüphane 0.2.0

Neyi araştırdık?

Üst veriler de hesaba katıldığında, yapay zekâ vektörlerini saklamak için gereken alan ne kadar azaltılabilir?

Nasıl test ettik?

Kaynak raporda yapay olarak üretilmiş veriler kullanılır: her biri 1.536 değerden oluşan 128 vektör ve (4, 8, 256, 128) boyutunda anahtar/değer tensör çiftleri. Vektörler için 2, 3 ve 4 bit sıkıştırma, float32 ve 16 bit depolamayla karşılaştırılır. Boyutlara sıkıştırılmış veri, yardımcı değerler ve üst veriler dahildir. Kalite, geri oluşturma ve benzerlik hatalarıyla değerlendirilir.

Ne bulduk?

3 bit ayarında embedding verisi 786.432 bayttan 74.738 bayta iner. Bu, float32 depolamaya göre %90,50; 16 bit depolamaya göre %80,99 daha az alan demektir. Örnek anahtar/değer çifti ise 8.388.608 bayttan 885.734 bayta iner. Bunlar sentetik veride ölçülen depolama sonuçlarıdır; uygulama hızı veya yanıt kalitesi kazanımı değildir.

Nerede kullanılır?

Embedding arşivleri, ajanların vektör belleği ve özel arama sistemleri için bir sıkıştırma katmanı sağlar. Ayrı bir önizleme API’si, modelin dikkat mekanizmasındaki anahtar ve değer tensörleriyle çalışır. Semafold sayıları sıkıştırır; belgeleri özetlemez veya istemleri kısaltmaz.

Alan ile doğruluk arasındaki denge

Geri oluşturma deneyinde 2 bit ayarı 50.077 bayt ve 0,1178 ortalama karesel hata; 3 bit ayarı 74.738 bayt ve 0,0348 hata; 4 bit ayarı 99.484 bayt ve 0,0098 hata üretir. Daha fazla bit, özgün değerlere daha yakın sonuç sağlar. Bu hata ölçümleri, aramanın doğru sonuçları bulma oranını veya yanıtların doğruluğunu göstermez.

Sınırları açık bir Python kütüphanesi

Çekirdek için Python 3.10+ ve NumPy yeterlidir. 0.2.0 sürümü, PyTorch (CUDA/MPS) veya MLX (Metal) üzerinden isteğe bağlı hızlandırma ekler. Belgelenmiş kök API; tipli kodlama, geri açma ve bayt hesabı sunar. TurboQuant sıkıştırıcıları ve anahtar/değer API’si, uyumluluğu henüz garanti edilmeyen önizleme modülleridir. Bu raporda GPU hız kazanımı ölçülmemiştir.

Bu sonuç neyi göstermiyor?

Sıkıştırma kayıplıdır. Gerçek arama kalitesi ve modelin uçtan uca davranışı, kullanılacak veri üzerinde ayrıca değerlendirilmelidir. Çok küçük önbellek blokları, üst veri maliyeti nedeniyle 16 bit depolamadan büyük olabilir. Sıkıştırma ve önbellek API’leri önizleme aşamasındadır; hazır model sunum entegrasyonları bu raporun kapsamı dışındadır.

Bu rapor hakkında

Bu teknik rapor hakemli yayın değildir. Sayılar, deponun 0.1.0 ölçüm raporundan aktarılmıştır; web sitesi için deneyler yeniden çalıştırılmamıştır. Kod, örnekler, ölçüm betikleri ve API kararlılık politikası Apache-2.0 lisansıyla açık olarak paylaşılır.

Teknik notlar ve kaynak kayıtları

Sentetik ölçüm · kaynak rapor 0.1.0, 31 Mart 2026 · incelenen kütüphane 0.2.0

Dosya adları ve SHA-256 parmak izleri, bu rapor hazırlanırken kullanılan kaynakların tam sürümünü tanımlar.

benchmarks/turboquant_benchmark_report.mdSHA-256: ef384c74195d3f0944b36b1d2cf75baa78ca77e6e29009faa1f08ed3d648f1ad
STABILITY.mdSHA-256: f085264ec4f6c0a0b3e962e8cccea470fd6e11fdb501f3492b4b4865ae6885e7
CHANGELOG.mdSHA-256: b52cccda6dc65f2d5f8de5f31d7c44a634d1250dcd61c5b1cd1c5ebd46b603f6
pyproject.tomlSHA-256: b5ed5776e2bdde03a2ff6b62176ed687993b9a7bc39e4e74721f49c8763950ce

Araştırma materyallerini talep edin →