Geliştirici Blogu

Bir yemek siparişi uygulamasından sipariş verdiğinizi hayal edin. Telefonunuzun sunucuya ne istediğinizi söylemesi gerekir (örneğin, "1 Pizza, Soğansız"). Sunucu bunu işler ve bir onay geri gönderir. Bu konuşma için kullanılan dil JSON'dur. Veriyi, hem telefonunuzun (istemci) hem de restoranın sisteminin (sunucu) anında anlayabileceği yapılandırılmış bir formatta paketler.

JSON'un Yapısı

JSON, neredeyse tüm programcıların aşina olduğu iki evrensel veri yapısı üzerine kuruludur:

• İsim/değer çiftleri koleksiyonu: Çeşitli dillerde bu; nesne (object), kayıt (record), yapı (struct), sözlük (dictionary), hash tablosu veya ilişkisel dizi olarak gerçekleştirilir.
• Sıralı değerler listesi: Çoğu dilde bu; dizi (array), vektör, liste veya sekans olarak gerçekleştirilir.

JSON Neden XML'e Karşı Kazandı?

XML'den JSON'a geçiş tesadüf değildi. JSON daha az ayrıntılıdır, bu da dosyaların daha küçük olduğu ve ağlar üzerinden daha hızlı aktarıldığı anlamına gelir; bant genişliğinin sınırlı olabileceği ve gecikmenin önemli olduğu mobil internet için kritik bir faktör.

Bitiş etiketleri (örneğin </isim> gibi) kullanmaz, bu da karakter sayısını önemli ölçüde azaltır. En önemlisi, JSON koddaki veri nesnelerine doğrudan eşlenir. Bir DOM ağacında gezinmek için karmaşık bir ayrıştırıcıya (parser) ihtiyacınız yoktur; sadece JSON'u yüklersiniz ve o anında değişkeninizde kullanılabilir bir nesne haline gelir.

Bugün JSON her yerde. RESTful API'leri, yapılandırma dosyalarını (package.json veya VS Code ayarları gibi), MongoDB gibi NoSQL veritabanlarını ve hatta log dosyalarını güçlendiriyor. Geliştiriciler için JSON'u anlamak artık isteğe bağlı değil; modern web için temel bir okuryazarlık gereksinimidir.

Ayrıca, MongoDB, CouchDB ve Firebase gibi NoSQL veritabanlarının yükselişi JSON'un konumunu sağlamlaştırdı. Verileri katı tablolar ve satırlar halinde saklayan geleneksel SQL veritabanlarının aksine, NoSQL veritabanları genellikle verileri JSON nesneleriyle neredeyse aynı görünen belgeler olarak saklar. Bu, geliştiricilerin veritabanı katmanından kullanıcı arayüzüne kadar "JSON" cinsinden düşünebilecekleri anlamına gelir.

Serileştirme ve Ters Serileştirme

JSON'un önemini anlamada kilit bir kavram serileştirmedir. Bellekteki (RAM) nesneler, işaretçiler (pointers) ve referanslarla karmaşık yapılardır. RAM'i bir kablo üzerinden öylece "gönderemezsiniz". O nesneyi doğrusal bir metin dizisine dönüştürmeniz gerekir. Bu serileştirme (serialization) işlemidir. JSON, bunun için en verimli metin tabanlı formattır.

Tersine, metin hedefe ulaştığında, tekrar bir bellek nesnesine dönüştürülmelidir. Bu ters serileştirme (deserialization) işlemidir. JSON yapısı standart kodlama yapılarıyla (haritalar ve listeler) eşleştiği için, bu işlem inanılmaz derecede hızlıdır ve JavaScript ortamlarına özgüdür, minimum işlemci gücü gerektirir.

Mikroservisler ve IoT

Tek bir uygulamanın düzinelerce küçük, bağımsız hizmete bölündüğü bir mikroservis mimarisinde, JSON onları bir arada tutan yapıştırıcıdır. A Servisi, B Servisine bir JSON isteği gönderir, o da bunu işler ve bir JSON yanıtı döndürür. Bu basitlik, farklı dillerde yazılmış hizmetlerin sorunsuz bir şekilde iletişim kurmasını sağlar.

Bant genişliğinin genellikle sınırlı olduğu Nesnelerin İnterneti (IoT) dünyasında bile JSON tercih edilir. Protocol Buffers gibi ikili (binary) formatlar daha küçük olsa da, JSON hata ayıklamanın daha kolay olması nedeniyle baskın kalır. Bir geliştirici, akıllı bir termostattan gelen bir paketi yakalayabilir ve neyin yanlış olduğunu görmek için bir hex editörüne veya kod çözücü şemasına ihtiyaç duymadan JSON yükünü anında okuyabilir.

Yapay zeka doğruluğunun sessiz katillerinden biri Veri Kalitesi ve özellikle de tekrar eden verilerdir. Veri mühendisliği ile yapay zekanın kesiştiği nokta burasıdır ve kritiktir.

RAG Sistemlerinde Tekrar Eden Veri Sorunu

İçe Aktarım Artırılmış Üretim (RAG) sistemlerinde, bir yapay zeka soruları yanıtlamak için özel bir veritabanına (bir şirketin dahili wikisi gibi) bağlanır. Eğer bu veritabanı tekrar eden kayıtlarla doluysa—örneğin eski, güncelliğini yitirmiş bir politika belgesinin 50 kopyası—geri çağırma sistemi yapay zekanın "bağlam penceresini" (context window) bu tekrarlayan, kötü verilerle doldurabilir.

Yapay zekanın dikkat mekanizması kopyalarla dolup taştığı için, doğru cevabı içeren o tek, benzersiz, güncellenmiş belgeyi kaçırır. Bu, modelin sinyal yerine tekrarlayan gürültüye dayanarak bir cevap "halüsinasyon görmesine" yol açar.

İşlem Hattını Temizlemek

İşte bu yüzden JSON Tekilleştiriciler gibi araçlar yapay zeka işlem hattında (pipeline) gereklidir. Veriler yapay zeka tüketimi için bir Vektör Veritabanına beslenmeden önce temizlenmelidir. Loglardan, API yanıtlarından ve veri setlerinden tekrar eden JSON kayıtlarını kaldırmak birkaç önemli fayda sağlar:

• Depolama maliyetleri azalır: Aynı vektör gömülmesini (embedding) 10 kez saklamak için para ödemezsiniz.
• Bağlam çeşitliliği artar: Yapay zeka, aynı gerçeğin tekrarı yerine daha geniş bir yelpazede farklı gerçekler görür.
• Halüsinasyonlar azalır: Daha net, benzersiz sinyallerle, olasılıksal motor daha iyi tahminler yapar.

Yapay zeka ancak tükettiği veri kadar zekidir. Tekilleştirme, bu zekayı korumanın ilk savunma hattıdır.

Çözüm Kodu

import json

def remove_duplicates(input_file_path, output_file_path):
    try:
        # 1. JSON dosyasını oku
        with open(input_file_path, 'r', encoding='utf-8') as f:
            data = json.load(f)
        
        # Verinin bir liste olduğundan emin ol
        if not isinstance(data, list):
            print("Hata: JSON kökü bir liste/dizi olmalıdır.")
            return

        print(f"Orijinal kayıt sayısı: {len(data)}")

        # 2. Tekilleştirme Stratejisi
        # Her bir sözlüğü sıralanmış bir JSON string'ine dönüştürüyoruz.
        # 'sort_keys=True' çok önemlidir çünkü {"a":1, "b":2} ile
        # {"b":2, "a":1} eşit olmalıdır.
        
        unique_records = set()
        cleaned_data = []

        for entry in data:
            # Serileştir: bir parmak izi string'i oluştur
            fingerprint = json.dumps(entry, sort_keys=True)
            
            if fingerprint not in unique_records:
                unique_records.add(fingerprint)
                cleaned_data.append(entry)

        # 3. Çıktıyı yaz
        with open(output_file_path, 'w', encoding='utf-8') as f:
            json.dump(cleaned_data, f, indent=4)

        print(f"Temizlenmiş kayıt sayısı: {len(cleaned_data)}")
        print(f"Silinen kopya sayısı: {len(data) - len(cleaned_data)}")

    except FileNotFoundError:
        print("Hata: Girdi dosyası bulunamadı.")
    except json.JSONDecodeError:
        print("Hata: JSON ayrıştırılamadı. Sözdizimini kontrol edin.")

# --- Çalıştırma ---
if __name__ == "__main__":
    remove_duplicates('buyuk_veri.json', 'temiz_veri.json')
                            

Mantığı Anlamak

Buradaki kilit satır json.dumps(entry, sort_keys=True) kısmıdır. Bu, bir sözlük nesnesini bir string temsiline dönüştürür. Anahtarları (keys) sıralayarak, anahtar sırasının benzersizlik kontrolünü etkilememesini sağlarız.

Bu stringleri bir Python set içinde saklarız, bu da O(1) ortalama zaman karmaşıklığıyla arama yapmamızı sağlar. Bu yaklaşım büyük dosyalar için bile çok hızlıdır, bu da onu büyük log dosyalarını veya API dökümlerini işleyen veri hatları için uygun hale getirir.

1. Sondaki Virgül (Trailing Comma)

Bu, JSON geçerliliğinin 1 numaralı düşmanıdır. Modern JavaScript'te (ve Python'da), listeler virgülle bitebilir, örneğin [1, 2, 3,]. Bu, versiyon kontrol farkları (diffs) için uygundur. Ancak, JSON sondaki virgülleri kesinlikle yasaklar.

2. Tek Tırnak vs. Çift Tırnak

Eğer Python veya JS'ye alışkınsanız, tek tırnakları birbirinin yerine kullanabilirsiniz. JSON spesifikasyonu, hem anahtarlar hem de dize değerleri için çift tırnak gerektirir. Tek tırnaklar standart JSON'da geçerli bir sözdizimi değildir.

3. Tırnaksız Anahtarlar

JavaScript'te { id: 1 } yazabilirsiniz. JSON'da anahtar bir string olmalıdır. Çift tırnak içine alınmalıdır: { "id": 1 }. Bu, yapılandırma dosyalarını manuel olarak oluştururken yapılan yaygın bir hatadır.

Nasıl Doğrulanır?

Mecbur kalmadıkça büyük JSON dosyalarını elle yazmayın. Dahili JSON doğrulaması olan VS Code gibi bir kod düzenleyici kullanın (hataların altını kırmızıyla çizecektir). Oluşturulan veriler için, dağıtımdan önce yapıyı doğrulamak için her zaman katı bir ayrıştırıcı veya çevrimiçi bir araç kullanın. JSON Tekilleştirici gibi araçlarımız da JSON'unuzu dolaylı olarak doğrular; eğer araç kopyaları kaldırmak için girdinizi ayrıştıramazsa, sözdiziminiz geçersiz demektir!