Machine Learning|2-Bir Makine Öğrenme Modelinin Başarısını Değerlendirme Yöntemleri-Ölçekleri



Original Source Here

Machine Learning|2-Bir Makine Öğrenme Modelinin Başarısını Değerlendirme Yöntemleri-Ölçekleri

Herkese merhaba bu yazımızda makine öğrenmesi sürecine ve makine öğrenme modelinin başarısını değerlendirme yöntemleri / ölçekleri konusuna değineceğiz.

Makine Öğrenmesi Süreci

Algoritmaların öğrenme sürecinde ilk olarak işlenmemiş bilgiler, bulunur ve algoritmaya iletilir. Bu veriler genel olarak sayısal ölçümler, puanlamalar, metin gibi bilgilerdir.

Bu işlemlerin sonrassında sırasıyla şu adımlar atılır:

  • Özellik Çıkarımı
  • Model Oluşturma
  • Değerlendirme
  • Tahmin

Değerlendirme süreci çok önemli bir süreçtir ve başarılı sonuçlar elde edilebilmesi için gereklidir. Bu süreçte ise;

  • Accuracy (Doğruluk)
  • Sensitivity (Hassaslık)
  • Specificity (Belirginlik) gibi testler gerçekleştirilir ve yapılan çıkarımların en iyisi olduğu kanıtlanır.

Eğer değerlendirme sonucunda istenilen sonuçlar elde edilemez ve modelin başarılı olmadığına kanaat getirilirse, modelde iyileştirme yapılır. İyileştirme sonucu oluşturulan model tekrar testlerden geçirilir. Bu süreç istenilen sonuca ulaşana kadar devam edebilir.

Photo on bukrek

Bir Makine Öğrenme Modelinin Başarısını Değerlendirme Yöntemleri-Ölçekleri

Bir makine öğrenmesi çalışmasında modelin kaç tane durumu doğru olarak tahmin ettiği çok yeterli bir değerlendirme kriteri değildir. Örneğin elimizde 1000 tane veri olsun. 900 tanesi A sınıfı içinde iken 100 tanesi B sınıfının içinde olsun. Bir makine öğrenmesi metodu geliştirirsen ve hepsini A olarak bilirse başarısı %90’dır. Modeli daha iyi bir şekilde değerlendirmek için “confusion matrix” yani “hata matrisi” anlatılmıştır.

Confusion Matrix ( Hata Matrisi)

Confusion matrix, verideki mevcut durum ile sınıflama modelimizin doğru ve yanlış tahminlerinin sayısını gösterir. Aşağıda 2×2’lik örnek bir confusion matrix görülmektedir. Bu matris yapılacak teste göre değişiklik gösterir başka bir deyişle NxN’lik bir matristir.

Var olan durumlar training dataset’te uzman/lar tarafından işaretlenmiş durumlardır. Bu durumlar kesinlikle doğru kabul edilir. Yukarıda işaretleme sonucunda uzman ya pozitif ya da negatif bir durum seçmiştir. Örneğin eğitim verimiz sayılardan oluşsun ve hangi sayının pozitif bir sayı hangisinin negatif bir sayı olduğunu tahmin etmeye çalışalım. Bu durumda pozitif sayılar için “pozitif”, negatif sayılar için “negatif” işaretlemiş olsun. Makine öğrenmesi metodundan elde edilen modelin amacı hem pozitifleri hem de negatifleri tahmin edebilmektir.

Eğer tahmin işleminde normalde pozitif olarak var olan bir durum pozitif olarak tahmin ediliyorsa TP bir tahmin yapılmıştır. Eğer var olan durum negatif ve tahmin negatif ise TN bir tahmin yapılmıştır. Başka bir deyişle yanlış bir durum yanlış olarak doğru bir şekilde tahmin edilmiştir. Eğer var olan durum negatif ise ancak tahmin sistemi pozitif olarak tahmin ederse birinci tip hata FP durumu oluşur. Eğer var olan durum pozitif ise ve tahminci negatif olarak tahmin ederse FN ikinci tip hata oluşur. Şimdi yukarıdaki örneğimizi confusion matrix üzerinde görelim.

Dikkat edilirse tahmin sistemi hiç bir negatif durumu bilemiyor. Aslında arzu edilen tahmin durumu aşağıdaki gibi olmalıydı.

Ancak bu durum da normal değildir. Böyle bir sonuç elde ediliyorsa modelinizde veya verinizde bir şeyler dorğu olmayabilir ve modelinizi veya verinizi tekrar gözden geçirmeniz önerilir.

Photo on Hürriyet

Confusion matrix üzerinden çıkarılan ve literatürde sıklıkla kullanılan formülasyonlara değinelim.

Accuracy ( Doğruluk ): Sistemde doğru olarak yapılan tahminlerin tüm tahminlere oranıdır. (Konunun başında %90’lık tahmin sonucunu elde ettiğimiz durum. Bu açıdan pek güvenilir bir karşılaştırma kriteri değildir.)

Accuracy = (TP+TN) / (TP+TN+FN+FP)

Recall( Kesinlik ): Pozitif durumların ne kadar başarılı tahmin edildiğini gösterir.

Recall = TP / (TP + FN)

Precision( Duyarlılık ): Pozitif olarak tahmin edilen bir durumdaki başarıyı gösteren durum.

Precision = TP / (TP + FP)

F-Meaure ( F-Ölçütü ): Recall ve Precision’ın harmonik ortalaması.

F-Measure = 2*Precision*Recall / (Precision + Recall)

Bu formüller çalışmalarda kullanılan en temel değerlendirme kriterleridir. İlgili konu için daha fazla değerlendirme kriterine buradan ulaşabilirsiniz.

Kaynakça

[1] [2]

Hesaplarım ve İletişim için :

Gmail: sametcanunceee@gmail.com

Linkedin

Bir sonraki yazımızda Yanlılık ve Varyans kavramlarını iceleyeceğiz.

AI/ML

Trending AI/ML Article Identified & Digested via Granola by Ramsey Elbasheer; a Machine-Driven RSS Bot

%d bloggers like this: