Bir makinede yüzde 96,4 doğruluk duyduğumuzda zihin bunu neredeyse kusursuzluk olarak okuyor. Oysa saldırı tespitinde eksik kalan yüzde, olayların sayısından çok sınıfına göre maliyet yaratır. Binlerce zararsız paketi doğru tanıyıp kritik bir komut enjeksiyonunu kaçıran model, yüksek toplam doğruluğa rağmen üretim için zayıftır. Bu yüzden satın alma kararını tek yüzdeden saha kabul matrisine çevirmek gerekir.
Her hata aynı maliyette değildir
Yanlış pozitif, normal bir sensör paketini saldırı sayar; yanlış negatif ise gerçek saldırıyı kaçırır. İlk hata alarm yorgunluğu ve gereksiz duruş, ikincisi kontrol kaybı yaratabilir. Kabul testinde sınıf bazlı duyarlılık, kesinlik ve kaçırılan kritik olay sayısı raporlanmalı. Veri setindeki sınıf dağılımı gerçek işletme trafiğine benzemiyorsa toplam doğruluk karşılaştırması sınırlıdır.
AgroCyberShield iki veri kaynağı ve ablation analiziyle yararlı bir araştırma zemini sunuyor. Yine de üreticinin cihaz markaları, protokolleri, eski ağ geçitleri ve bakım trafiği farklıdır. Modelin görmediği yeni davranışlarda güven aralığı düşebilir. Saha trafiğiyle kör test yapılmadan araştırma metriği kabul belgesine dönüşmez.
Gecikme proses süresiyle birlikte ölçülür
Uç cihazda düşük gecikme iddiası tek başına yeterli değildir. Alarmın oluşmasından operatörün anlamasına, doğrulamasına ve güvenli eyleme kadar geçen toplam süre önemlidir. Sulama komutunda saniyeler tolere edilebilirken hızlı hareketli makinede aynı süre kabul edilemez. Eşik proses riskine göre belirlenmeli.
Karşı görüş, her senaryoyu test etmenin pahalı olduğudur. Gerçekten de kapsam sonsuz büyüyebilir. Çözüm, varlık ve tehlike analiziyle en yüksek sonuçlu beş-altı senaryoyu seçmek; geri kalanını kayıt ve izleme planına almaktır. Saldırı simülasyonu üretimi riske atmayan ayrılmış test ortamında yürütülebilir.
Modelin kendisi de bakım ister
Ağ trafiği yazılım güncellemesi, yeni sensör ve mevsimsel çalışma programıyla değişir. Başlangıçta iyi çalışan model zamanla daha fazla yanlış alarm üretebilir. Yeniden eğitim koşulu, sürüm kaydı, geri dönüş ve bağımsız doğrulama sözleşmede açık olmalı. Açıklanabilirlik çıktısı operatöre sunulmalı, fakat karar kanıtı olarak günlüklerle çapraz kontrol edilmelidir.
Makine kabulü mekanik emniyet, elektriksel koruma ve fonksiyon testini nasıl birlikte ele alıyorsa siber kabul de model, ağ, erişim, kayıt ve güvenli çalışma katmanlarını birlikte görmelidir. Yüksek araştırma doğruluğu iyi bir aday seçer; güvenilir tarım sistemi ise disiplinli saha mühendisliğiyle kurulur.
Temel görüş
Tek bir doğruluk metriği kritik hata sınıflarını, gecikmeyi ve gerçek işletme trafiğindeki değişimi gizleyebilir.
Türkiye için ne ifade ediyor?
Türkiye'deki makine ve sera otomasyonu alımlarında sınıf bazlı hata, gecikme, çevrimdışı çalışma, sürüm geri dönüşü ve kayıt bütünlüğü ölçülebilir kabul kriteri olmalıdır.
Başvuru kaynakları
Yazıdaki olgusal çerçeve aşağıdaki kaynaklarla desteklendi; yorumlar köşe yazarına aittir.
