Yapısal Veri Çıkarımı ve Parsing Rehberi [2026]

Yapisal Veri Cikarimi Nedir?

Dijital dunyada verinin buyuk cogunlugu yapisal olmayan formatlarda bulunur: web sayfalari, PDF belgeler, goruntüler, e-postalar ve serbest metin dokumanlari. Arastirmalara gore kurumsal verilerin yuzde 80'inden fazlasi yapisal olmayan formattadir. Bu kaynaklardan anlamli ve islenebilir veri elde etmek, veri muhendisliginin temel zorluklarindan biridir.

Yapisal veri cikarimi (structured data extraction), yapisal olmayan veya yari yapisal kaynaklardan belirli bir semaya uygun, makine tarafindan islenebilir veri uretme surecidir. Bu surec; kaynak analizi, veri lokasyonu tespiti, cikarim, donusum ve dogrulama adimlarindan olusur. Her adim, farkli teknik zorluklar ve arac secimleri icerir.

E-ticaret fiyat karsilastirmasi, emlak ilan toplama, finansal veri analizi, haber aggregasyonu ve akademik arastirma gibi kullanim senaryolari, buyuk olcekli yapisal veri cikarimi gerektirir. Bu rehber, farkli kaynak turlerine uygun parsing tekniklerini ve uretim ortaminda guvenilir cikarim pipeline'lari olusturmayi kapsamli sekilde ele alir.

HTML Parsing Temelleri

Web sayfalari, yapisal veri cikariminin en yaygin kaynagidir. HTML belgeleri, DOM (Document Object Model) agac yapisinda temsil edilir ve bu yapi uzerinde cesitli sorgulama teknikleri uygulanabilir. HTML parsing, web scraping ve veri madenciliginin temel teknolojisidir.

DOM Parsing ve Agac Yapisi

DOM parsing, HTML belgesini bir agac yapisina donusturur. Her HTML etiketi bir dugum (node) olarak temsil edilir ve dugumler arasinda ebeveyn-cocuk iliskileri kurulur. Bu agac yapisi uzerinde gezinerek (traversal) hedef verilere ulasilir. Agac yapisi, belgenin hiyerarsik yapisini korur ve herhangi bir elemana programatik olarak erisim saglar.

Python ekosisteminde BeautifulSoup ve lxml, JavaScript'te Cheerio ve jsdom, Go'da goquery, Rust'ta scraper ve Java'da Jsoup gibi kutuphaneler DOM parsing icin yaygin olarak kullanilir. Her kutuphane, farkli performans ve kullanim kolayligi dengeleri sunar. lxml, C tabanli parser'i sayesinde en yuksek performansi sunarken, BeautifulSoup daha sezgisel bir API saglar.

Bozuk HTML ile basa cikmak, gercek dunya senaryolarinda sikca karsilasilan bir zorluktur. Kapanmamis etiketler, ic ice gecmis yapisal hatalar ve standart disi HTML, parser'larin tolerans seviyesini test eder. BeautifulSoup ve html5lib gibi toleransli parser'lar, standart disi HTML'i bile basariyla agac yapisina donusturebilir. html5lib, tarayicilarin HTML5 parsing algoritmasini uygulayarak en yuksek uyumlulugu saglar ancak performans maliyeti yuksektir.

CSS Selector ile Veri Secimi

CSS selectorleri, DOM agacindaki elemanlari secmek icin sezgisel ve guclu bir sorgulama dili sunar. Web gelistiricilerinin zaten asina oldugu bir sentaksa sahip olmasi, ogrenme egrisini dusurur. Sinif adi, id, etiket tipi, ozellik degerleri ve hiyerarsik iliskiler uzerinden hedef elemanlar tanimlanabilir.

Temel selectorler arasinda eleman sectoru (div, span, a), sinif sectoru (.product-price, .listing-title), id sectoru (#main-content, #search-results) ve ozellik sectoru ([data-id="123"], [href^="https"]) yer alir. Birlesik selectorler ise daha spesifik hedefleme saglar: div.product > span.price ifadesi, product sinifina sahip bir div'in dogrudan cocugu olan price sinifli span'i secer.

Pseudo-selectorler (:nth-child, :first-of-type, :not(), :contains) daha gelismis secim mantigi sunar. Ornegin bir tablodaki cift satirlari secmek icin tr:nth-child(even), bir listede ilk elemani haric tutmak icin li:not(:first-child) kullanilabilir. Combinator'ler (>, +, ~) ise elemanlar arasindaki yapisal iliskilere gore secim yapar: h2 + p ifadesi, bir h2 etiketinin hemen ardindaki p etiketini secer.

XPath ile Gelismis Sorgulama

XPath (XML Path Language), DOM agaci uzerinde CSS selector'lerden daha guclu ve esnek sorgulama yetenekleri sunar. Ozellikle yukari yonlu gezinme (parent, ancestor), metin icerigi uzerinden arama ve kosullu ifadeler konusunda XPath ustundur. XML ve HTML belgelerinin her ikisinde de calisir.

XPath eksenleri (axes), agac yapisinda farkli yonlerde gezinme imkani tanir: child (cocuk dugumler), parent (ebeveyn dugum), ancestor (tum ust dugumler), following-sibling (sonraki kardes dugumler), preceding (onceki tum dugumler) ve descendant (tum alt dugumler) gibi eksenler, karmasik veri yapilarina erisimi kolaylastirir.

Metin icerigi uzerinden arama yapabilmek, XPath'in belirgin avantajlarindan biridir. contains(text(), 'Fiyat') ifadesi, icinde "Fiyat" gecen tum elemanlari bulur. starts-with(@class, 'product-') gibi ifadeler, belirli bir on ek ile baslayan sinif adlarina sahip elemanlari secer. Kosullu ifadeler ile birlestirildiginde cok guclu sorgular olusturulabilir: //div[@class='product'][.//span[contains(text(), 'Stokta')]] gibi.

CSS selectorleri ile XPath arasinda secim yaparken, basit senaryolarda CSS selectorlerinin daha okunabilir ve performansli oldugu, karmasik gezinme ve kosul gerektiren durumlarda ise XPath'in tercih edilmesi gerektigi goz onunde bulundurulmalidir. Pratikte cogu projede her iki teknik de birlikte kullanilir.

JSON ve XML Parsing

Web API'leri ve yapilandirilmis veri kaynaklari, genellikle JSON veya XML formatinda veri sunar. Bu formatlarin parsing'i, HTML'e gore daha dogrudan ve guvenilirdir cunku veri zaten belirli bir yapiya sahiptir.

JSON Parsing Stratejileri

JSON, modern web API'lerinin standart veri formatidir. Basit yapilarda standart JSON kutuphaneleri yeterlidir ancak derin ve karmasik JSON yapilarinda hedef veriye ulasmak icin JSONPath veya JMESPath gibi sorgulama dilleri kullanilabilir. JSONPath, XPath'e benzer bir sentaksla JSON yapilari uzerinde sorgulama yapar: $.store.book[?(@.price<10)] gibi ifadeler, filtreleme ve secim islemllerini kolaylastirir.

Buyuk JSON dosyalarinin islenmesinde (gigabyte olcekli), streaming parser'lar (Python'da ijson, Java'da Jackson Streaming API) bellek verimli cozumler sunar. Tum dosyayi bellege yuklemek yerine, veri akisi uzerinde parcali islem yapilir. Bu yaklasim, sinirli bellek kaynaklari olan ortamlarda kritik onem tasir.

Sema dogrulama (JSON Schema), cikarilan verinin beklenen yapiya uygun oldugundan emin olmak icin kritik bir adimdir. Eksik alanlar, beklenmeyen veri tipleri, gecersiz degerler ve ek alanlar, sema dogrulamasi ile erken asamada tespit edilir ve veri kalitesi garanti altina alinir.

XML ve Feed Parsing

XML, HTML'e gore daha kati bir sentaks yapisina sahiptir. Tum etiketler kapatilmali, ozellik degerleri tirnak icinde olmali ve buyuk/kucuk harf duyarliligi korunmalidir. XML namespace'leri, XPath sorgularinda ozel dikkat gerektirir; namespace-aware parsing, farkli XML semalarina uyum saglar.

RSS ve Atom feed'leri, icerik aggregasyonu icin yaygin olarak kullanilan XML formatlaridir. Haber siteleri, bloglar ve podcast platformlari, iceriklerini feed formatinda sunar. feedparser (Python), rome (Java) gibi ozelllesmis kutuphaneler, feed parsing'i basitlestirirken format farkliliklarini soyutlar. OPML dosyalari ise feed listelerinin yonetimi icin standart bir format saglar.

PDF Veri Cikarimi

PDF belgeleri, fatura, rapor, resmi evrak ve akademik makale gibi onemli veri kaynaklaridir. Ancak PDF'lerin yapisal veri cikarimi, HTML'e gore cok daha zorlayicidir cunku PDF, gorsel sunum odakli bir formattir ve semantik yapi bilgisi tasimaz.

Metin Tabanli PDF Parsing

Metin katmani iceren PDF'lerde (dijital olarak olusturulmus PDF'ler), pdfplumber, PyMuPDF (fitz), Apache Tika ve pdfminer gibi araclar metin cikarimi saglar. Her arac farkli guc ve zayyiflliklara sahiptir: pdfplumber tablo cikariminda ustunken, PyMuPDF genel amacli yuksek performansli metin cikarimi saglar.

Tablo cikarimi ozellikle zorlayicidir cunku PDF'lerde tablolar gorsel olarak ciizilir ancak yapisal olarak tanimlanmaz. pdfplumber, Tabula ve Camelot, PDF tablolarini yapisal veriye donusturmek icin ozelllesmis algoritmalar kullanir. Lattice (cizgi tabanli) ve stream (bosluk tabanli) olmak uzere iki temel tablo tespit yontemi vardir.

PDF'lerdeki metin sirasi, gorsel sira ile her zaman uyusmaz. Cok sutunlu yapilar, kenar boslukklari, dipnotlar ve metin akis yonu, cikarim sonuclarini etkileyebilir. Bu nedenle cikarilan verinin gorsel dogrulama ile kontrol edilmesi ve gerektiginde post-processing uygulanmasi onemlidir.

OCR Tabanli Cikarim

Taranmis belgeler, goruntüler icine gomulu metinler ve el yazisi iceren PDF'ler, metin katmani icermez. Bu durumlarda Optik Karakter Tanima (OCR) teknolojisi devreye girer ve goruntudeki metin bilgisini dijital metne donusturur.

Tesseract OCR, acik kaynakli ve 100'den fazla dili destekleyen yaygin kullanilan bir OCR motorudur. LSTM tabanli metin tanima modeli, ozellikle basili metin icin yuksek dogruluk saglar. Google Cloud Vision, Amazon Textract ve Azure Form Recognizer gibi bulut servisleri ise daha yuksek dogruluk oranlari, el yazisi tanima ve yapisal cikarim ozellikleri (form alani tespiti, tablo cikarimi) sunar.

Belge on isleme (preprocessing) adimlari — goruntu duzeltme (deskew), kontrast ayarlama, gurultu azaltma (denoising), ikili esikleme (binarization) ve cozunurluk artirma — OCR dogrulugunu onemli olcude arttirir. Smart Maple ekibi olarak, belge isleme projelerinde on isleme adimlarinin OCR basari oranini yuzde 30'a kadar artirdigini gozlemledik. Ozellikle dusuk kaliteli taramalar ve eski belgeler icin on isleme kritik onem tasir.

Dinamik Icerik ile Basa Cikmak

Modern web uygulamalari, JavaScript ile dinamik olarak icerik olusturur. Sunucu yanitindaki HTML, gorunen sayfanin yalnizca bir iskeletidir; gercek veriler, JavaScript calistiktan sonra API cagrilari ile alinarak DOM'a eklenir. Bu durum, geleneksel HTTP request + HTML parsing yaklasimini yetersiz kilar.

JavaScript Render Edilmis Sayfalar

Headless tarayicilar (Puppeteer, Playwright, Selenium), JavaScript'i calistirarak tam render edilmis DOM'u elde etmeyi saglar. Playwright, Chromium, Firefox ve WebKit motorlarini destekleyerek en genis tarayici uyumlulugunu sunar. Ancak bu yaklasim, kaynak tuketimi (CPU, bellek) ve islem suresi acisindan maliyetlidir; her sayfa icin tarayici instance'i baslatmak saniyeler surer.

Daha verimli bir alternatif, sayfanin yaptigi API cagrilarini izlemek ve dogrudan bu API'lerden veri cekmektir. Tarayici gelistirici araclarinin Network sekmesi veya Playwright'in route interception ozelligi, bu API endpoint'lerini tespit etmek icin kullanilir. API'den alinan JSON verisi, HTML parsing'e gore cok daha kolay, hizli ve guvenilir sekilde islenir. Bu yaklasim "API discovery" olarak adlandirilir ve deneyimli veri muhendislerinin tercih ettigi yontemdir.

Sonsuz Kaydirma ve Lazy Loading

Sayfalama, sonsuz kaydirma (infinite scroll) ve lazy loading gibi desenler, tum verinin tek seferde yuklenmedigi anlamina gelir. Headless tarayicida scroll simülasyonu (window.scrollTo), sayfalama parametrelerinin manipulasyonu (page=1, page=2, offset=0, offset=20) veya arka plandaki API cagrilarinin dogrudan tekrarlanmasi, bu desenlere uygun cikarim stratejileridir.

Intersection Observer API tabanli lazy loading, elemanlarin gorunum alanina girdiginde icerik yukler. Bu deseni atlatmak icin tum elemanlarin gorunum alanina girmesini simule etmek veya dogrudan kaynak URL'lerini HTML'den cikararak ayri isteklerle almak gerekir.

Tek Sayfa Uygulamalari (SPA)

React, Vue ve Angular gibi framework'lerle gelistirilen SPA'lar, sunucu tarafinda minimal HTML sunar. Gercek icerik, JavaScript bundle'i calistiktan sonra istemci tarafinda render edilir. Bu uygulamalarda veri cikarimi, ya headless tarayici ile tam render ya da uygulamanin kullandigi API endpoint'lerinin dogrudan kullanimi ile saglanir.

SPA'larin state management katmani (Redux, Vuex), bazen window.INITIAL_STATE veya benzeri global degiskenler araciligiyla sayfa verisini dogrudan HTML icerisinde sunar. Bu durumlarda JavaScript calistirmaya gerek kalmadan, script etiketinden JSON veri cikarilabilir.

Sablon Tabanli Cikarim

Benzer yapidaki birden fazla sayfadan veri cikarirken, sablon (template) tabanli yaklasim verimlilik ve tutarlilik saglar. Bir e-ticaret sitesindeki binlerce urun sayfasi benzer yapiya sahiptir ve tek bir sablonla islenebilir.

Cikarim Sablonu Tasarimi

Bir sablon, hedef sayfanin yapisini ve cikarilacak verilerin konumlarini tanimlar. CSS selectorleri veya XPath ifadeleri, veri alanlariyla eslestirilir. Ornegin bir e-ticaret urun sayfasi sablonu, urun adi (h1.product-title), fiyat (span.price-current), aciklama (div.product-description), gorsel URL'leri (img.product-image[src]) ve stok durumu (span.stock-status) icin ayri selectorler icerir.

Sablonlarin versiyonlanmasi (Git ile) ve test edilmesi, kaynak site degisikliklerinde hizli adaptasyon saglar. Otomatik sablon dogrulama testleri, kirilan sablonlarin erken tespitini mumkun kilar. Her sablon icin ornek sayfa snapshot'lari saklanarak, regresyon testleri calistirilabilir.

Sema Tespiti ve Otomatik Cikarim

Yapisal verinin otomatik olarak tespit edilmesi, sablon olusturma surecini hizlandirir. Schema.org isaretlemeleri (JSON-LD, Microdata, RDFa), sayfadaki yapisal veriyi acikca tanimlar ve parsing gerektirmeden dogrudan kullanilabilir. Ornegin bir urun sayfasinda JSON-LD formatinda Product semasi, fiyat, stok durumu, marka ve diger bilgileri standart formatta sunar.

Open Graph etiketleri, Twitter Card meta tag'leri ve diger semantik isaretlemeler de yari yapisal veri kaynaklari olarak degerlendirilmelidir. Bu isaretlemeler, sosyal medya paylasimi icin tasarlansa da, veri cikarimi icin degerli bilgiler icerir.

AI Destekli Veri Cikarimi

Buyuk dil modelleri (LLM), yapisal veri cikariminda devrim nitelliginde yenilikler sunmaktadir. Geleneksel kural tabanli cikarimin yetersiz kaldigi karmasik ve degisken yapilar icin AI tabanli yaklasimlar guclu alternatifler sunar.

LLM Tabanli Extraction

GPT-4, Claude ve Gemini gibi LLM'ler, yapisal olmayan metinden yapisal veri cikarma konusunda etkileyici yetenekler gosterir. Bir fatura goruntusunden kalem detaylarini cikarma, serbest metin ilandan yapisal bilgileri parse etme, tablo olmayan formatlardaki finansal verileri yapilandirma gibi gorevlerde LLM'ler geleneksel yontemlere gore cok daha esnek ve dayaniklidir.

Prompt muhendisligi, LLM tabanli cikarimda kritik bir rol oynar. Cikti formatinin acikca belirtilmesi (JSON sema tanimlamasi), ornek girdi-cikti ciftleri (few-shot learning), adim adim talimatlar (chain-of-thought) ve hata durumlarinin tanimlanmasi, cikarim dogrulugunu arttirir. Structured output modlari (function calling, JSON mode), LLM ciktisinin her zaman gecerli JSON olmassini garanti eder.

Hibrit Yaklasim

Geleneksel parsing ve AI tabanli cikarimi birlestiren hibrit yaklasimlar, en iyi sonuclari verir. Yapisal olan bolumler (tablolar, listeler, form alanlari) geleneksel parser'larla hizli ve dusuk maliyetle islenir; yapisal olmayan bolumler (aciklamalar, notlar, serbest metin alanlar) LLM ile islenir.

Maliyet optimizasyonu acisindan, LLM cagrilarinin yalnizca geleneksel yontemlerin yetersiz kaldigi durumlarda kullanilmasi, isletme giderlerini kontrol altinda tutar. Bir LLM cagrisi, binlerce CSS selector sorgusundan katla pahaliya mal olabilir; bu nedenle hibrit yaklasim hem dogruluk hem de maliyet acisindan optimal dengeyi saglar.

Veri Donusum Pipeline'lari

Cikarilan ham veri, nadiren dogrudan kullanima hazirdir. Donusum adimlari, veriyi hedef semaya uygun, temiz ve tutarli hale getirir. ETL (Extract, Transform, Load) pipeline'inin Transform asamasi, veri kalitesinin belirlendigi kritik noktadir.

Veri Temizleme

HTML etiketlerinin kaldirilmasi, bosluk normalizasyonu, karakter kodlama duzeltmesi (UTF-8 standardizasyonu), tarih ve sayi format standardizasyonu, birim donusumleri ve ozel karakter temizligi gibi temizleme islemleri, cikarim sonrasinin ilk adimidir.

Tutarsiz veri formatlari (farkli kaynaklardan farkli tarih formatlari: "06/03/2026", "2026-03-06", "6 Mart 2026" gibi), merkezi donusum kurallariyla ISO 8601 gibi standart bir formata donusturulmelidir. Para birimi formatlari (1.000,00 TL vs. $1,000.00), olcu birimleri ve adres formatlari da standardizasyon gerektiren yaygin alanlardir.

Veri Dogrulama

Cikarilan verinin dogrulugu ve tamligi, otomatik dogrulama kurallariyla kontrol edilmelidir. Tip kontrolu (fiyat sayisal olmali), aralik dogrulama (fiyat negatif olamaz, yil 1900-2030 arasinda olmali), zorunlu alan kontrolu (urun adi bos olamaz), referans butunlugu (kategori gecerli bir kategori olmali) ve is kurali dogrulama (indirimli fiyat normal fiyattan buyuk olamaz) gibi kontroller uygulanmalidir.

Pydantic (Python), Joi (JavaScript) ve JSON Schema gibi dogrulama kutuphaneleri, bu kurallarin deklaratif olarak tanimlanmasini saglar. Dogrulama basarisizliklari, kayit bazinda veya toplu olarak raporlanmali ve gerektiginde manuel incelemeye yonlendirilmelidir.

Hata Yonetimi ve Fallback Stratejileri

Veri cikarim pipeline'lari, cesitli hata senaryolarina hazirlikli olmalidir. Kaynak sayfa yapisinin degismesi (selector kirllmasi), ag hatalari (timeout, baglanti reddi), eksik veriler (bos alanlar) ve beklenmeyen formatlar (yeni para birimi, farkli dil) en yaygin hata turleridir.

Birincil cikarim yonteminin basarisiz olmasi durumunda alternatif selectorler denemek (fallback chain), kismi basarili cikarimllari kaydetmek (partial extraction — 10 alandan 8'i cikarildiysa kaydet), hatali kayitlari ayri bir kuyruge yonlendirmek (dead letter queue) ve tekrar denenebilir hatalari otomatik yeniden islemek, saglam bir hata yonetim stratejisinin bilesenleridir.

Uretim Ortaminda Cikarim Pipeline'i

Buyuk olcekli veri cikarimi, tek seferlik script'lerden farkli olarak uretim kalitesinde altyapi, izleme ve bakim surecleri gerektirir.

Izleme ve Alarm

Cikarim basari orani (yuzde olarak), veri kalitesi metrikleri (bos alan orani, dogrulama hatasi orani), islem suresi (sayfa basina ortalama sure), kuyruk buyuklugu ve birikim hizi gibi metrikler surekli izlenmelidir. Basari oraninin belirli bir esik degerinin altina dusmesi (ornegin yuzde 95'in altina), otomatik alarm tetiklemelidir.

Olceklenebilirlik

Yatay olcekleme icin cikarim islemlerinin bagimsiz worker'lara dagitilmasi, kuyruk tabanli is dagitimi (RabbitMQ, Redis Queue, Celery, Bull) ve konteyner tabanli deployment (Kubernetes, Docker Swarm) yaygin yaklasimlardir. Auto-scaling, kuyruk derinligine gore worker sayisini otomatik olarak ayarlar.

Surekli Bakim

Kaynak sitelerin yapi degisiklikleri, cikarim sablonlarinin duzenli olarak guncellenmesini gerektirir. Otomatik test suite'leri, regresyon tespitini hizlandirir. Degisiklik algilama mekanizmalari (sayfa hash karsilastirmasi, yapisal diff), site yapisi degistiginde proaktif bildirim saglar. Smart Maple olarak, veri cikarim pipeline'larinda proaktif izleme ve hizli adaptasyon yeteneklerinin operasyonel basarinin anahtari oldugunu deneyimliyoruz.

Sonuc

Yapisal veri cikarimi, HTML parsing'den AI destekli extraction'a kadar genis bir teknik yelpaze icerir. Basarili bir cikarim stratejisi, kaynak turune uygun parsing teknigini secmek, saglam hata yonetimi ve dogrulama mekanizmalari kurmak ve uretim ortami icin izleme ve olcekleme altyapisi olusturmaktan gecer. Geleneksel ve AI tabanli yontemlerin birlesimi, 2026 ve sonrasi icin en etkili yaklasimi teskil etmektedir.