İlk yanıt doğruluğu
İlk yanıt, görevin referans yanıtını ve değerlendirme ölçütlerini karşılıyor mu?
AI güvenliği ve muhakeme
Pyrodit Scan Lab
Yapay zekâ güvenliği ve muhakeme değerlendirme çalışma alanı · Kurulumunuzu görüşelim
Yapay zekânın saldırılara verdiği yanıtları, problem çözmesini ve geri bildirim karşısındaki davranışını izlenebilir kanıtlarla değerlendirin.
İşin adımlarını izleyin
Değerlendirmeyi yürütmeden incelemeye izleyin.
Üç kayıtlı ekran; operatörün çalıştırmayı nerede izlediğini, kanıtı nasıl incelediğini ve projenin genel durumuna nasıl döndüğünü gösteriyor.
Kaydedilmiş ürün ekranı
Değerlendirmeyi izleyin
Çalıştırma özeti, hedefi ve politikayı canlı olay akışının yanına koyar. İlerlemeyi, zaman aşımlarını ve aday bulguları birlikte okuyun; çalıştırmanın tamamlanması hedefin güvenli olduğu anlamına gelmez.
- Testlerin ilerleyişini tek tek izleyin
- Hangi test senaryosunun çalıştığını, hangi dedektörün sinyal ürettiğini ve işlemin ne kadar sürdüğünü görün. Canlı olay akışı, operatöre yalnızca bir ilerleme çubuğu göstermek yerine test faaliyetini aday bulgularla ilişkilendirir.
- İlerlemeyi riskten ayrı değerlendirin
- Değerlendirilen istekler, aday bulgular, zaman aşımları ve önem dereceleri farklı soruları cevaplar. Bir güvenlik bulgusunu yürütme sorunundan ayırmak ve araştırılması gereken noktaları belirlemek için bu bilgileri birlikte okuyun.
- Sinyalden bağlama geçin
- Aday bulguyla birlikte test senaryosu, dedektör, güven düzeyi ve yürütme referansı da incelemeye taşınır. Sonraki adım, kanıtı inceleyerek sorunun doğrulanmış bir bulgu mu yoksa yanlış pozitif mi olduğuna karar vermektir.
Örnek çıktı
- Değerlendirme kaydı
- Hedefi, politikayı, yürütme olaylarını ve aday bulguları ilişkilendiren çalıştırma kimliği.
Bu ürün size uygun mu?
- Kimler için?
- Yapay zekâ uygulamalarını ve modellerini değerlendiren güvenlik ve mühendislik ekipleri.
- Ne sağlar?
- Yapay zekânın saldırılara verdiği yanıtları, problem çözmesini ve geri bildirim karşısındaki davranışını izlenebilir kanıtlarla değerlendirin.
- Sisteminizdeki yeri
- Yayın öncesi değerlendirme ve regresyon testi alanı. Guard ise canlı istek ve eylem hattında kontrolleri uygular.
Kapsam ve erişim
Temiz sonuç yalnızca kapsamı ve tamamlanan kontrolleri için geçerlidir. Eksik veya başarısız kontroller başarılı sayılmamalıdır. Muhakeme ölçümlerini ölçütleri ve yanıt kanıtıyla birlikte okuyun. Muhakeme hatası bir güvenlik bulgusu değildir; doğru yanıt da güvenliğin kanıtı değildir.
- Girdi
- Yetkilendirilmiş hedef, test politikası ve tanımlı saldırı senaryoları veya muhakeme görevleri.
- Çıktı
- Değerlendirme bağlamıyla birlikte izlenebilir güvenlik taramaları ve muhakeme ölçümleri.
- Kurulum
- Değerlendirme API ve worker bileşenleri hedef uygulamadan ayrıdır; ilk değerlendirme kontrollü ortamda yapılır.
Muhakeme değerlendirmesi
Yanıt, sorgulandığında da doğru kalıyor mu?
Akıcı bir yanıt hedefi kaçırabilir veya doğru bir sonucu itiraz karşısında terk edebilir. Scan Lab’ın muhakeme motoru, gözleyebildiğiniz yanıtı, çözülmesi gereken görevi ve geri bildirim karşısındaki davranışı değerlendirir.
Doğru geri bildirimle toparlanma
Başlangıçta yanlış yanıt veren model, geçerli bir düzeltmeden sonra doğru sonuca ulaşıyor mu?
Yanlış geri bildirime direnç
Başlangıçta doğru yanıt veren model, yanıltıcı bir itirazdan sonra doğru sonucu koruyor mu?
Ölçüt, kanıt ve açık sonuç.
Değerlendirme; ölçüt sürümünü, referans yanıtı, ilgili yanıt alıntılarını ve geçti, kaldı veya değerlendirilemedi sonuçlarını kaydeder. Desteklenen görevlerde ölçüt bazlı model değerlendirmesi veya yapılandırılmış yanıtın deterministik karşılaştırması kullanılır. Eksik kanıt ve yürütme hataları görünür kalır; başarılı puana dönüşmez.
Bir bankacılık asistanının modelini değiştirmeden önce.
İncelenmiş uygunluk kuralları ve politika istisnalarıyla bir görev seti oluşturun. Asistanın doğru sonuca ulaşmasını, bir politika bilgisi düzeltildiğinde toparlanmasını ve yanlış bir itirazı reddetmesini sınayın. Model veya prompt değişiminden sonra aynı görev kapsamını tekrarlayın; oranlarla birlikte ölçüme uygun örnek sayılarını da karşılaştırın.
Güvenlik bulguları ve muhakeme ölçümleri farklı soruları cevaplar ve ayrı yorumlanır. Sonuçlar seçilen görevler ve ölçütler için geçerlidir. Muhakeme değerlendirmesinin kapsamını ekibimizle belirleyin; aşağıdaki güvenlik ekranları güvenlik değerlendirmelerini gösterir.
Muhakeme değerlendirmesini görüşelim →Ekibinizin üzerinde çalışabileceği bir güvenlik değerlendirmesi.
Scan Lab; test hazırlığını, sınırları belirlenmiş yürütmeyi ve kanıt incelemesini aynı çalışma alanında birleştirir. Elde edilen değer yalnızca bir puan değil; ekibin kaynağına inebildiği, değerlendirebildiği ve aksiyona dönüştürebildiği bir bulgudur.
01
Hedefi ve çalışma sınırlarını belirleyin
Bir proje ve test edilecek uç noktaya bağlanan bağlantı tanımıyla başlayın. Ortamı, test dilini ve kullanılabilecek yürütme kaynaklarını seçin. Başlatma öncesi inceleme, gönderilecek isteğin bağlantı durumunu ve uyumlu worker yeteneklerini kontrol ederek eksik gereksinimleri tarama başlamadan görünür kılar.
02
Saldırı kapsamını bilinçli oluşturun
Risk ailelerini ve tekil test senaryolarını seçin ya da desteklenen bir çerçeve sürümü ve gereksinimleri üzerinden kapsamı belirleyin. Senaryo seçimi incelemesi, seçilen sürümleri ve istek bütçesini kayıt altına alır. Etkin katalog kapsam sağladığında prompt injection, veri sızıntısı, güvensiz çıktı ve araçların kötüye kullanımı açık test tercihlerine dönüşür.
03
Testin maliyetini ve yoğunluğunu yönetin
Politikalar; istek sayısını, süreyi, istek hızını ve eşzamanlılığı sınırlar. Çok adımlı testler ve yapay zekâyla üretilen varyasyonlar kendi politika limitlerine ve seçilen yürütme profiline bağlıdır. Yapılandırmayı tekrar kullanmak için kaydedin; hedef, politika veya kapsam değiştiğinde geçerli sınırları yeniden inceleyin.
04
Tespiti yorumdan ayırın
Testin yürütülmesi, dedektör kararları ve değerlendirici sonuçları farklı görevler taşır. Seçili dedektör sürümlerini ve değerlendirme kapsamını; bulgunun önem derecesi, puanı ve güven düzeyiyle birlikte inceleyin. Worker hazırlığı ayrıca kontrol edilir: katalogda yer alan bir dedektör, belirli bir taramada kullanılabilir veya çalışmış olmak zorunda değildir.
05
Aday bulguyu incelenmiş sonuca dönüştürün
Bulguları değerlendirme, önem derecesi ve inceleme durumuna göre filtreleyin. İlgili tekrarları ve yürütme bağlamını açıp kararınızı gerekçesiyle kaydedin. Karar geçmişi bulguya bağlı kalır; sonraki incelemeciler neyin doğrulandığını, elendiğini veya yeniden ele alındığını takip edebilir.
06
Değerlendirmeyi kanıtıyla paylaşın
Belirli bir çalıştırmanın raporunu açın; HTML veya PDF olarak dışa aktarın. Kapsamı, değerlendirme tamamlanma durumunu, bulgu örneklerini ve kaynak bilgilerini mühendislik incelemesi ya da kurum içi değerlendirme için birlikte aktarın. Rapor o taramanın kaydını temsil eder; çerçeve eşlemesi bağlam sağlar, mevzuata uygunluk sertifikası oluşturmaz.
Bulguyu görün. Kanıtıyla değerlendirin.
Sunumdaki gerçek ürün ekranları · Kayıtlı test verisi · İngilizce arayüz
Aday bulgudan incelemeye
Önem derecesi, dedektör, test senaryosu ve maskelenmiş kanıt aynı bulgu üzerinde birleşir. İnceleme sırasında sinyalin kaynağını kaybetmeden ayrıntıya geçin.
Değerlendirmenin paylaşılabilir özeti
Rapor, önem derecesi dağılımını ve yürütme kanıtının durumunu aynı değerlendirmeye bağlar. Ekrandaki puan ve sayaçlar bu örnek taramaya aittir.
Aday bulgudan gerekçeli bir sonraki adıma.
Saldırgan bir test sırasında bilgi açığa çıkaran bir asistan düşünün. Scan Lab, neyin değiştirileceğine karar vermeden önce gözlenen davranışı belirli bir test ve onun kanıtıyla ilişkilendirmenize yardımcı olur.
İnceleyin
Test senaryosunu, dedektör sinyalini ve mevcut yürütme izini okuyun. Yorumunuzun gerçekten elde kalan kanıta dayanması için maskelemeyi ve değerlendirme kapsamını kontrol edin.
Karar verin
Bulguyu doğrulayın veya neden yanlış pozitif olduğunu kaydedin. Mühendislik ve güvenlik ekiplerinin aynı bağlamı paylaşması için gerekçeyi inceleme geçmişinde tutun.
Yeniden değerlendirin
Uygulamayı değiştirdikten sonra ilgili senaryoları yeniden çalıştırıp yeni kanıtları inceleyin. Taramanın tamamlanması veya tek başına bulgu üretmemesi, sorunun çözüldüğünün kanıtı değildir.
Teknik yapı
İncelenebilir bir değerlendirme hattı.
Pyrodit Scan Lab, güvenlik testlerini ve pratik muhakeme değerlendirmesini aynı üründe buluşturur. Saldırı senaryolarını veya muhakeme görevlerini tanımlayın, kaydedilmiş yanıtları inceleyin ve güvenlik bulgularını yanıt kalitesi ölçümlerinden ayrı okuyun.
Hedeften çalıştırmaya
Hedefin ve testi çalıştıracak bileşenlerin hazır olduğunu kontrol edin. İstek sayısını, hızını, süreyi ve eşzamanlı çalışmayı sınırlandırın; hassas test verilerinin nasıl maskeleneceğini belirleyin.
İzlenebilir tespit
Kullanılabilir kuralları, kişi ve kurum adlarını tanıyan kontrolleri ve model destekli analizi birleştirin. Sinyalin hangi tespit bileşeni sürümünden geldiğini, kapsamını ve dayandığı kanıtı takip edin.
Bulgudan rapora
Bulguları kayıtlı test konuşması ve işlem geçmişiyle birlikte inceleyin. Kapsamı, önem derecesini, kanıtları ve önerilen sonraki adımları değerlendirme raporuyla paylaşın.
Kullanım senaryoları
Kurum ölçeğinde sorunlar. Koordineli kararlar.
Mağaza ve depo ağından üretim tesislerine, finans ekiplerinden bankacılık operasyonlarına: birden fazla sistem ve karar yetkisi gerektiren süreçleri keşfedin.
Kurumsal müşteri kabulünü tek bir inceleme dosyasında yönetin.
İlişki yönetimi, müşteri tanıma ve operasyon ekiplerini ortak bir dosyada buluşturun. Tüzel kişi yapısı, yetkili temsilciler, eksik belgeler ve inceleme kararları aynı süreçte izlenir.
Akışı incele →Pratikte
Günlük kullanımda nasıl çalışır?
Ürünün çalışma adımlarını, operasyonel kontrollerini ve değerlendirme sınırlarını inceleyin.
Değerlendirmenin gerçekten çalışabileceğini nasıl anlarız?
Yürütücü hazırlığı; kullanılabilir, kısıtlı ve kullanılamaz yetenekleri ayırır. Yetenek görünümü sağlıklı ve güncelliğini yitirmiş yürütücüleri, eksik gereksinimleri ve uyumlu yürütücüleri kaydeder. Sonuçları yorumlamadan önce bu hazırlığı tarama kapsamıyla birlikte inceleyin: eksik dedektör veya erişilemeyen yürütücü, hedefin güvenli olduğuna dair kanıt değildir.
Dedektör değişiklikleri nasıl denetlenir?
Yeterlilik kayıtları yalnızca bir dedektör adına değil, belirli sürümüne bağlanır. Yetkili kullanıcılar rapor ve yeterlilik kayıtlarını inceleyebilir, yeniden değerlendirme planlayabilir, yeterlilik verebilir veya geri çekebilir. Değerlendirme, yayımlama ve geri çekme ayrı yetkilere sahiptir; dedektör, model varlığı veya yürütme ortamı değiştiğinde inceleme sürecini destekler.
Düzeltme toplantısına hangi çıktılar taşınabilir?
Çalıştırma raporu, değerlendirme için ortak bir referans sağlar; rapora erişim ve HTML veya PDF indirme yolları bulunur. Bulgular, düzeltme kararını tartışmak için gerekli risk ve kanıt bağlamını korur. Hedef yapılandırması, dedektör sürümleri, kapsam ve tekrar test koşulları belirlenerek sonraki çalışma ilk değerlendirmeyle anlamlı biçimde karşılaştırılabilir.
Birlikte kullanım
Her ürüne açık bir sorumluluk verin.
Sürecinizin ihtiyaç duyduğu yetenekleri birleştirin. Ürünlerin akış boyunca bağlamı, yetkileri ve sonuçları nasıl paylaşacağını belirleyin.
Pyrodit Guard
Doğrulanmış riskleri çalışma zamanı koruma politikasına girdi yapın. Tarama bulgusu tasarımı besler; Guard korumasını otomatik olarak devreye almaz.
Pyrodit Agentic Runtime
Ajan uygulamasının modeli, talimatı veya araç yolları değiştiğinde izinli test hedefi ve açık kapsamla yeniden değerlendirme yapın.
Mindtro ile üretin