Çalışan çıkış anketi veri setini temizleme ve yapılandırma
3 Mart 2026
Problem
İki farklı kurumdan birleştirilen ham çıkış anketi verisinde tutarsız kategorik kodlamalar, eşleşmeyen sütun isimleri ve "ayrılma nedeni" alanında ciddi miktarda eksik yanıt vardı — bu haliyle ne bir modele ne de bir paydaşa sunulabilecek durumdaydı.
Yaklaşım
Kategorik değerleri standardize ettim, iki farklı anket formatını birleştirdim ve eksik yanıtları veri setinden atmak yerine ayrı bir kategori olarak ele aldım; çünkü nedeni belirtilmemiş ayrılmalar rastgele dağılmıyordu.
Zorluk
Asıl zor kısım kod yazmak değildi — bazı eksik değerlerin rastgele değil anlamlı olduğunu fark etmekti; her boş değeri aynı şekilde ele alsaydım analizin söylediği şey sessizce değişecekti.
Ders
Artık eksik veriyle nasıl başa çıkacağıma karar vermeden önce "bu neden eksik?" diye soruyorum — eksikliğin oranından çok arkasındaki mekanizma önemli.
NYC lise verilerini analiz ederken aykırı değer tespiti
14 Nisan 2026
Problem
NYC liselerinde SAT puanlarını sosyoekonomik ve gayrimenkul verileriyle karşılaştırırken birkaç okulun SAT ortalaması beklenen aralığın çok dışındaydı ve bu durum hesapladığım korelasyon katsayılarını çarpıtıyordu.
Yaklaşım
Tek bir yönteme güvenmek yerine IQR tabanlı ve z-skor tabanlı aykırı değer kontrollerini yan yana kullandım, işaretlenen her okulu otomatik olarak silmek yerine tek tek inceledim.
Zorluk
Uç değerlerden ikisi veri girişi hatası değil, az sayıda öğrencisi olan gerçek, küçük ve özel okullar çıktı; bunları silseydim gürültüyü değil gerçek bilgiyi kaybetmiş olacaktım.
Ders
Aykırı değer olmak istatistiksel bir yargıdır, olgusal bir gerçek değil — doğru tepki noktanın kökenini anlamak, refleksle silme tuşuna basmak değil.
Ev fiyatı tahmin vaka çalışması için öznitelik mühendisliği
20 Mayıs 2026
Problem
Miuul makine öğrenmesi eğitimim kapsamındaki bir ev fiyatı tahmin vaka çalışmasında, ham öznitelikler (yapım yılı, arsa büyüklüğü, semt, oda sayısı) tek başına fiyatla neredeyse hiç ilişkili değildi ve temel bir doğrusal model zayıf performans gösteriyordu.
Yaklaşım
Yapım yılı yerine bina yaşı, oda başına fiyat oranı ve semt bazlı toplulaştırılmış öznitelikler türettim; ardından düzenlileştirilmiş bir doğrusal modeli ağaç tabanlı bir modelle (CART) karşılaştırarak hangisinin yeni özniteliklerle daha iyi çalıştığına baktım.
Zorluk
Semt bazlı öznitelikleri eğitim/test ayrımından önce tüm veri setinde hesaplamak, hedef bilgisinin kısa süreliğine eğitim özniteliklerine sızmasına yol açtı; doğrulama skorumun yapay şekilde şiştiğini fark edince pipeline'ı yalnızca eğitim kümesinde toplulaştırma yapacak şekilde yeniden kurdum.
Ders
Veri sızıntısı genelde kendini belli etmez — sadece sonuçları biraz fazla iyi gösterir; artık beklenenden çok iyi bir skoru kutlamadan önce araştırılması gereken bir sinyal olarak görüyorum.
Doğruluk skoruna güvenmek yerine modeli okumak
12 Haziran 2026
Problem
Miuul makine öğrenmesi eğitimimden bir sınıflandırma alıştırmasında makul bir doğruluk skoruna ulaştım ama doğruluk tek başına modelin mantıklı gerekçelerle mi karar verdiğini söylemiyordu.
Yaklaşım
Lojistik regresyonun katsayılarına, karışıklık matrisine ve sınıf bazlı precision/recall değerlerine baktım; ardından aynı özniteliklerle eğitilmiş bir CART karar ağacıyla karşılaştırarak iki modelin de hangi değişkenleri önemli bulduğunu kontrol ettim.
Zorluk
Bir özniteliğin katsayısı alan bilgisiyle hiç örtüşmeyecek kadar büyüktü; kökenine indiğimde bunun sonucu gerçekten etkileyen değil, modellenmemiş başka bir değişkenle ilişkili olduğunu gördüm — korelasyonu nedensellikle karıştırmanın klasik bir örneğiydi.
Ders
İyi skor alan bir model bile yanlış gerekçelere dayanıyor olabilir; yorumlama isteğe bağlı bir ekstra adım değil, modelin gerçek bir şey mi öğrendiğini yoksa bir kestirme mi bulduğunu anlamanın tek yolu.
