irzubal

Hakkında

Ben Demir Ata Albuz. AI red team ve purple team alanında kendimi yetiştiriyorum: AI sistemlerini kırmayı öğrenirken nasıl savunulacaklarını da öğreniyorum.

Bu blog neden var

AI güvenliğinde en iyi ders kitabı gerçek olaylar. Burada kamuya açıklanmış AI güvenlik olaylarını alıp iki taraftan okuyorum: saldırgan neyi gördü, savunma neyi kaçırdı, ben olsam ne yapardım. Her analiz aynı altı adımı izliyor ve OWASP LLM Top 10 ile MITRE ATLAS’a eşleniyor. Böylece yazılar zamanla aranabilir bir olay arşivine dönüşüyor.

Analizler yalnızca kamuya açık kaynaklara dayanır ve her iddianın kaynağı yazının sonunda verilir.

Öğrenme yolum

  • TryHackMe: AI güvenliği yolu ve temel sızma testi odaları.
  • Hack The Box Academy: Web Penetration Tester yolu.
  • AI red teaming: Lakera Gandalf (1-7. seviyeler çözüldü), Gray Swan Arena, HackAPrompt.

Yaptıklarım

Kendi laboratuvarımda, yerel modellerle (Ollama, LM Studio) hem saldırı hem savunma araçları geliştiriyorum:

  • Offensive AI Labs: ajan araç kötüye kullanımı, ML atlatma ve model dosyası tedarik zinciri deneyleri için yerel red team düzeneği.
  • Ajan Güvenilirlik Test Ortamı: araç kullanan ajanları dolaylı prompt enjeksiyonu, aşırı yetki (OWASP LLM06) ve veri sızıntısı senaryolarıyla ölçen kapalı bir test ortamı.
  • LLM Denetim Katmanı: kullanıcı ile model arasında duran, enjeksiyon denemelerini engelleyen ve Türkçe kişisel verileri (KVKK) maskeleyen bir FastAPI proxy.
  • TürkBench: Türkçe LLM güvenilirlik ölçütü; 6 set, 52 senaryo, kural tabanlı puanlama.

Çalışma ilkem

Yalnızca yetkili ortamlarda çalışırım: kendi makinem, HTB Academy, TryHackMe. Saldırıyı çalıştırırım, sonucu kaydederim.

Bağlantılar