Dengesiz Veri Kümeleri ile Sınıflandırmada Başarım Ölçütleri: 3. Bölüm ROC, AUC, Threshold Ayarlama скачать в хорошем качестве

Dengesiz Veri Kümeleri ile Sınıflandırmada Başarım Ölçütleri: 3. Bölüm ROC, AUC, Threshold Ayarlama

Google Colab: https://colab.research.google.com/dri... Dengesiz Veri Kümeleri Playlist:    • Dengesiz Veri Kümeleri ile Sınıflandırmada...   Github: https://github.com/kmkarakaya/ML_tuto... Github pages: https://kmkarakaya.github.io/Deep-Lea... Github Repo: https://github.com/kmkarakaya/Deep-Le... Medium:   / how-to-evaluate-a-classifier-trained-with-...   ------------------------------------------------------------------ Eğitim Videoları: Keras Python ile Sınıflandırma:    • Keras ile Sınıflandırma   Python ile Uygulamalı Yapay Zeka:    • Python ile Uygulamalı Yapay Zeka   Modelinizin Başarımını Nasıl Doğru Metrikler ile Ölçersiniz?    • Modelinizin Başarımını Nasıl Doğru Metrikl...   -------------------------------------------------------------------- Dengesiz Veri Kümesi ile Eğitilmiş Bir Sınıflandırıcı Nasıl Değerlendirilir? Doğruluk Neden Yeterli Değildir? Dengesiz Veri Kümeleri ile Sınıflandırmada Başarım Nasıl Doğru Ölçülür? How to Evaluate a Classifier Trained with an Imbalanced Dataset? Why Accuracy is not Enough? Imbalanced Dataset Classification Metrics Bu eğitimde serisinde, derste, özellikle dengesiz bir veri kümeniz olduğunda, çeşitli sınıflandırma ölçütlerini kullanarak ve anlayarak 8 alternatif model arasından EN İYİ sınıflandırma Makine Öğrenimi algoritmasını nasıl seçeceğimizi öğreneceğiz. Çözümleri Python ve SciKit Learn kütüphanesi ile uygulayacağız. Bölümler İçeriği 3 parça halinde sunacağım: Bölüm A: Temel Bilgiler, Metrikler, Sentetik Veri Kümesi Bölüm B: Kukla Sınıflandırıcılar, Doğruluk, Kesinlik, Geri Çağırma (Recall ), F1 Bölüm C: ROC, AUC, Değersiz Test, Ayar eşiği (threshold) 2. Bölüm: Kukla Sınıflandırıcılar, Doğruluk, Kesinlik, Geri Çağırma (Recall ), F1 Eğitimin sonunda, şu soruların cevaplarını öğreneceğiz: dengesiz veri kümesi nedir kukla sınıflandırıcı (Dummy classifier) nedir ikili sınıflandırıcının (binary classifier) performansı nasıl ölçülür sınıflandırma algoritmalarının performansları nasıl karşılaştırılır Hangi metrikler anlamlı, hangisi işe yaramaz metrik puanlar veya grafikler nasıl yorumlanır "doğruluk" (accuracy) neden iyi bir metrik değildir? sabit bir eşik değeri neden kullanışlı değil %99 doğruluk neden yeterli değil Bazı sınıflandırma görevlerinde doğruluk neden iyi bir performans ölçütü değildir? peki ya hatırlama, hassasiyet ve f1 ROC eğrisi ve AUC nasıl yorumlanır alternatifler arasında hangi sınıflandırıcı daha iyidir SciKit Learn tarafından rastgele bir ikili sınıflandırma veri kümesi nasıl oluşturulur Ayrıca, aşağıdaki sınıflandırma ölçütlerini ve ilgili kavramları ayrıntılı olarak ele alacağız: Kesinlik, Hatırlamak, Kesinlik F1, ROC eğrisi, ROC AUC tahmin etmek, eşik Accuracy, Recall, Precision, F1, ROC, ROC AUC, predict, predict_proba, threshold Tanımlar Sentetik veriler, gerçek dünyadaki olaylar tarafından üretilmek yerine yapay olarak üretilen bilgilerdir. Sentetik veriler algoritmik olarak oluşturulur ve matematiksel modelleri doğrulamak ve giderek artan bir şekilde makine öğrenimi modellerini eğitmek için üretim veya operasyonel verilerin test veri kümeleri için bir yedek olarak kullanılır. Sınıflandırma doğruluğu, toplam tahmin sayısına bölünen doğru tahminlerin sayısıdır. Geri çağırma, veri kümesindeki toplam pozitif örnek sayısına bölünen doğru pozitif sınıf tahminlerinin sayısıdır. Kesinlik, pozitif sınıfa ait olan örnek sayısına bölünen pozitif sınıf tahminlerinin sayısıdır. F-Ölçü (puan), hem kesinliği hem de geri çağırmayı tek bir sayıda dengeleyen tek bir puandır. Geri çağırma olarak da bilinen Duyarlılık veya Gerçek Pozitif Oranı (TPR), toplam pozitif örnek sayısına bölünen doğru pozitif sınıf tahminlerinin sayısıdır. (tespit olasılığı) Yanlış Pozitif Oranı (FPR), pozitif olarak yanlış tahmin edilen numune sayısının toplam pozitif numune sayısına bölümüdür. (yanlış alarm olasılığı) Bir alıcı işletim karakteristiği (ROC) eğrisi, bir ikili sınıflandırıcı sisteminin ayırt etme eşiği değiştikçe tanılama yeteneğini gösteren grafiksel bir çizimdir. ROC eğrisi, çeşitli eşik ayarlarında gerçek pozitif oran (TPR) ile yanlış pozitif oran (FPR) arasında grafik çizilerek oluşturulur. Eğrinin Altındaki Alan (AUC), bir sınıflandırıcının sınıfları ayırt etme yeteneğinin ölçüsüdür ve ROC eğrisinin bir özeti olarak kullanılır. Örnek Problem ve Veri Kümesi: Covid-19 test sonucunu tahmin edin Şunu varsayın: Dünya çapında COVID-19 için test verilerini ve test sonuçlarını topladınız Test edilen tüm konular hakkında 20 özellik biliyorsunuz Amacımız, 20 özellik kullanarak test sonuçlarını en doğru şekilde tahmin edebilen bir sınıflandırıcı yetiştirmektir.