Üretken Yapay Zeka (Generative AI) İş Uygulamaları: RAG, Fine-tuning ve Agent Mimarisi

Giriş: Üretken Yapay Zeka İş Dünyasında Dönüşüm

Üretken yapay zeka (Generative AI), son üç yılda kurumsal yazılım geliştirmenin en hızlı gelişen alanı haline gelmiştir. GPT-4, Claude 3.5, Llama 3.1 ve Gemini gibi büyük dil modelleri, işletmelerin müşteri destek sistemlerinden ürün geliştirmeye kadar pek çok iş sürecini otomatikleştirmesine olanak sağlıyor.

Smart Maple olarak, Ankara'da kurulan teknoloji şirketimiz 2024 yılından itibaren dünya çapında 500+ işletmeye üretken yapay zeka çözümleri sunmaktadır. Bu makalede, kurumsal ortamlarda başarılı generative AI uygulamaları geliştirmek için gereken mimariler, en iyi uygulamalar ve pratik stratejileri detaylı olarak inceleyeceğiz.

Modern Büyük Dil Modelleri ve Mevcut Yöneliş

Günümüzde işletmeler iki tür model seçeneğiyle karşı karşıyadır: kapalı kaynak API hizmetleri (OpenAI, Anthropic, Google) ve açık kaynak self-hosted çözümleri (Meta Llama, Mistral, Qwen).

Kapalı kaynak modeller (GPT-4o, Claude 3.5 Sonnet, Gemini 2.0 Flash) daha yüksek doğruluk oranı sunarken, açık kaynak modeller (Llama 3.1, Mistral, Qwen) maliyet avantajı ve veri gizliliği sağlıyor. İşletmenizin ihtiyaçlarına göre bu seçenekler arasında denge kurmak kritik.

Aşağıda popüler modellerin performans karşılaştırması yer almaktadır:

Model	MMLU	HumanEval	MT-Bench	Yanıt Süresi	Aylık Maliyet*
GPT-4o	92%	90%	9.2/10	1.2s	$8,500
Claude 3.5 Sonnet	92%	88%	9.1/10	1.5s	$7,200
Gemini 2.0 Flash	88%	85%	8.8/10	0.8s	$6,500
Llama 3.1 70B (Self-hosted)	86%	82%	8.5/10	0.4s	$2,500**
Mistral 8x7B (Self-hosted)	84%	80%	8.3/10	0.3s	$1,800**

*1M aylık token kullanımı, standart fiyatlandırma **Sunucu maliyeti dahil (AWS t3.xlarge)

RAG Mimarisi: Kurumsal Bilgi Tabanı İçin En İyi Çözüm

Büyük dil modelleri yaratıcı metinler üretmede başarılı olmakla beraber, belirli kurumsal verileri işlemede sorunlar yaşar. Retrieval-Augmented Generation (RAG), son eğitim verileri dışında kalan bilgileri doğru yanıtlama yöntemidir.

RAG mimarı, gelen sorguyu vektöre dönüştürerek benzer belgeleri bir vektör veritabanından alır. Ardından bu belgeler ile sorgu birlikte dil modeline gönderilerek bağlama dayalı cevap üretilir. Bu yaklaşım, şirket içi belgelerin (sözleşmeler, politikalar, ürün rehberleri) otomatik analiz edilmesini sağlar.

RAG, fine-tuning ve prompt engineering gibi diğer yaklaşımlarla karşılaştırıldığında, doğruluk (%85-92) ile maliyet arasında iyi bir denge sunar:

Yaklaşım	Doğruluk	Maliyet	Geliştirim Süresi	Dinamik Veri	Hazırlık Süresi
RAG	85-92%	Orta	2-4 hafta	Evet	1-2 hafta
Fine-tuning	90-95%	Yüksek	4-8 hafta	Kısmi	2-4 hafta
Prompt Engineering	70-80%	Düşük	3-5 gün	Hayır	Yok
Özel Model	95%+	Çok Yüksek	8-16 hafta	Evet	4-8 hafta
Vector Search Only	60-75%	Düşük	1 hafta	Evet	1 hafta

Doğruluk %85-90 yeterli ve dinamik veri gerekiyorsa RAG en ideal seçimdir. Doğruluk %93%+ hedefi ve sabit veri varsa fine-tuning tercih edilebilir. Hızlı prototip ve basit görevler için prompt engineering yeterlidir.

Fine-tuning ve Adaptasyon Stratejileri

Fine-tuning, bir dil modelini belirli bir iş alanına (domain) uyarlamak için güçlü bir tekniktir. Modeli kendi verilerinizle eğiterek cevap kalitesini %10-15 oranında artırabilirsiniz.

OpenAI'nin 2026 fiyatlandırmasında, fine-tuning eğitimi $25 / 1M token, çıkarım ise $3 / 1M input token'ı, $12 / 1M output token'ı oranında hesaplanıyor. Örneğin, 50.000 konuşmadan oluşan eğitim seti (toplamda 25M token) için eğitim maliyeti $625 olup, aylık çıkarım maliyeti yaklaşık $150'dir.

İşletme açısından bakıldığında, yanıt doğruluğu %80'den %94'e çıkması, müşteri memnuniyeti 7.2/10'dan 8.8/10'a yükselmesi anlamına gelir. Tipik bir müşteri destek ekibi 1.5 FTE tasarrufu ($90K/yıl) sağlayabilir, bu da fine-tuning yatırımını 12 ay içinde amorti eder.

AI Agent Mimarisi: Otonom Karar Alma Sistemleri

AI Agent'lar, kendilerine verilen görevleri tamamlamak için birden fazla aracı (tool) kullanabilen sistemlerdir. Bir müşteri destek ajanı, soruyu cevaplamak için veritabanını sorgulamak, faturaları kontrol etmek ve destek talepleri oluşturmak gibi işlemleri otonom olarak yapabilir.

ReAct (Reasoning + Acting) mimarı, ajanın adım adım düşünmesini ve uygun araçları seçmesini sağlar. Function Calling ise dil modeline belirli fonksiyonları çağırma yetkisi verilerek karmaşık operasyonlar yönetilir. Bu yaklaşımlar, otonom müşteri hizmetleri, iç işlemlerin otomasyonu ve karar alma sistemlerinin inşasında kullanılır.

LLM API Maliyeti Karşılaştırması ve Seçimi

Kurumsal ölçekte yapay zeka sistemleri geliştirirken, maliyet analizi kritiktir. Aşağıda popüler sağlayıcıların karşılaştırması yer almaktadır:

Sağlayıcı	Model	Input Fiyatı	Output Fiyatı	Context	Avantajlar	Dezavantajlar
OpenAI	GPT-4o	$5/1M	$15/1M	128K	En iyi kalite	Yüksek maliyet
OpenAI	GPT-4o mini	$0.15/1M	$0.60/1M	128K	Hızlı ve ucuz	Düşük doğruluk
Anthropic	Claude 3.5 Sonnet	$3/1M	$15/1M	200K	Uzun context	İçerik filtreleri
Google	Gemini 2.0 Flash	$0.075/1M	$0.30/1M	1M	Çok ucuz	Stabilite sorunları
Meta	Llama 3.1 (Self-hosted)	-	-	128K	Sınırsız kullanım	Kendi sunucu gerekli

Aylık 10.000 sorgu (sorgu başına 500 input, 300 output token) ve $5.000 aylık DevOps masrafı varsayıldığında, GPT-4o yaklaşık $75.000/ay, Claude 3.5 Sonnet $65.000/ay, self-hosted Llama 3.1 ise $17.000/ay maliyeti oluşturur. İlk 18 ayda hibrit yaklaşım (RAG + fine-tuned GPT-4o mini) en ekonomik seçenek olup, sonraki dönemde self-hosted çözüme geçiş düşünülebilir.

Kurumsal Kullanım Alanları

Belge soru-cevap (Document Q&A), hukuk firmaları ve danışmanlık şirketleri için çevirici olmaktadır. Milyonlarca sayfa sözleşme ve rapor RAG sistemine yüklendiğinde, avukatlar "Bu sözleşmede gizlilik maddesi var mı?" gibi soruları saniyeler içinde çözebilir.

Smart Maple'ın Ankara'daki bir hukuk firması referans projesinde, belge araştırma süresi 45 günden 3 güne düştü. 5 avukat × $150/saat = günde $250 maliyet tasarrufu sağlandı.

Kod üretimi başka bir uygulama alanıdır. Mevcut kod tabanından öğrenen LLM'ler, yeni feature geliştirmede veya hata düzeltmede yazılım geliştirme ekiplerini destekleyebilir.

İçerik üretimi ve lokalizasyon da önemlidir. Oplist gibi healthcare SaaS ürünleri için 15 farklı dile pazarlama metni otomatik olarak oluşturulabilir. Müşteri destek chatbot'ları ise kullanıcıların doğal dilde sorularını anlayarak randevu ayarlama, kullanıcı bilgisi sorgulama ve destek talepleri oluşturabilir.

Veri Gizliliği ve Şirket İçi (On-Premise) Dağıtım

Sağlık, finans ve yasal sektörlerde veriler harici bir API'ye gönderilemez. Bu durumda modeli kendi sunucuların da çalıştırmanız gerekir.

vLLM gibi frameworkler kullanarak Llama 3.1 70B modelini Ubuntu sunucunuzda çalıştırabilirsiniz. Bu yaklaşım tamamen çevrimdışı RAG mimarı kurmanıza olanak sağlar: HuggingFace Embedding'ler yerel embedding modeli üretir, Chroma lokal vektör veritabanında belgeler saklanır ve Ollama yerel LLM olarak çalışır. Bu şekilde, tüm işlemler şirket içi sunucularda yapılarak GDPR ve HIPAA uyumluluğu sağlanır.

Avantajlar: Sıfır veri harici transferi, tam denetim ve kontrol, düzenleyici uyumluluk. Dezavantajlar: GPU maliyeti (ayda $10-20K), açık kaynak modellerle daha düşük doğruluk, bakım karmaşıklığı.

LLM Değerlendirme ve Halüsinasyon Tespiti

LLM'ler bazen yanlış bilgi üretir ("hallucination"). Bunu tespit etmek kritiktir. RAGAS Framework gibi araçlar, context precision, context recall, faithfulness ve answer relevancy metriklerini ölçerek çıktı kalitesini değerlendirir.

Halüsinasyon tespiti için LLM kendisi kullanılabilir: bağlam, verilen cevap ve soruyu alarak yapılandırılmış JSON çıktı olarak halüsinasyon taşıyıp taşımadığını rapor edebilir. Çıktı kardeşleme (confidence < 0.7) durumunda insan gözden geçirmesi tetiklenmelidir.

Metrik	Tanım	Hedef	Yöntem
Faithfulness	Cevabın kaynak metni desteklemesi	>0.85	LLM-based değerlendirme
Answer Relevancy	Cevabın soruya ilgisi	>0.80	Embedding benzerliği
Context Recall	Doğru belgeler getirilmesi	>0.90	Pozitif label bulunma

Generative AI Proje Maliyetleri

Generative AI projeleri dört temel seviye halinde yapılandırılabilir:

MVP Chatbot ($7.700-15K): 2-3 hafta, temel RAG ve single use case. Geliştirme 2 hafta × $3.500 = $7.000, API $500, hosting $200.

Kurumsal RAG Sistemi ($25-40K): 4-6 hafta, multi-document RAG, admin panel, user authentication. Geliştirme 4 hafta × $3.500 = $14.000, fine-tuning $2.000, API $2.000, infrastructure $4.000, DevOps $3.000.

AI Agent Sistemi ($40-60K): 8-10 hafta, multi-tool agents, workflow automation. Geliştirme $28.000, fine-tuning $3.000, GPU infrastructure $5.000, database $2.000, DevOps $4.000.

Kurumsal Platform ($80-100K+): 12-16 hafta, hibrit API + self-hosted, microservices. Geliştirme $42.000, fine-tuning $9.000, infrastructure $15.000, compliance $8.000, DevOps $6.000.

Sık unutulan gizli maliyetler arasında veri hazırlama (30% extra zaman), periyodik model yeniden eğitimi (aylık $2-5K), compliance denetimleri ($10-20K one-time) ve halüsinasyon yönetimi (aylık $1-2K) yer alır.

Smart Maple Başarı Hikayeleri

Ankara'daki bir hukuk firması 50.000+ sözleşmeyi manuel olarak tarayıp risk unsurlarını belirmekte aylarca harcıyordu. Smart Maple tarafından geliştirilen çözüm, tüm sözleşmeleri ChromaDB vektör deposuna yükleyip GPT-4o + RAG pipeline kurdu. Analiz süresi 45 günden 3 güne düştü, maliyet tasarrufu $54.000 (10 avukat × $150/saat × 45 gün), proje maliyeti $35.000 olup 6.5 ayda ödendi.

Smart Maple'ın kendi ürünü olan Oplist (hastane randevu otomasyonu), hastane telefon merkezlerinin randevu talebine cevap verememe sorununu çözdü. Randevu alma başarısı %88'den %96'ya çıktı, günde 500+ SMS/WhatsApp randevusu otomatik hale geldi, hasta memnuniyeti 7.2/10'dan 8.7/10'a yükseldi. İnsan çalışan ihtiyacı 5 kişiden 2 kişiye düştü (yıllık $144K tasarrufu), randevu no-show azalması $150K/yıl kazanç sağladı. ROI 1.7 ay olup, aylık maliyetler ($4.200) hızlı amorti edildi.

Best Practices ve Kaçınılması Gerekenler

Başarılı implementasyon için verilerinizi temizleyin ve kalitesini kontrol edin. Üretilen çıktıları insan gözüyle kontrol edin; ilk 100 sonuç kesinlikle gözden geçirilmelidir. Model versiyonlarını (accuracy metrikleriyle birlikte) track edin. Hallucination rate ve yanıt süresi gibi metrikleri production'da izleyin.

Kaçınılması gerekenler: LLM'i eğitim verisi kaynağı olarak kullanmak (yapay veri halüsinasyon yaratır), üretim ortamına hızlı geçiş yapmak, tüm soruları LLM'e göndermek (basit sorgular için optimize edilmiş path kullanın), API key'leri hardcode etmek.

Sonuç ve Çağrı

Üretken yapay zeka, 2026'da "gelecek" değil "bugün"dür. RAG, fine-tuning ve AI Agents kombine olarak, işletmelerin verimlilik, maliyet ve müşteri memnuniyetinde dramatik iyileştirmeler sağlıyor.

Smart Maple ekibi olarak, Python, LangChain, OpenAI API, Llama ve React teknolojilerinde uzmanız. Kurumsal ölçekte generative AI projeleri başlatmaya hazır olduğunuzda, Smart Maple'a ziyaret edin ve özel danışmanlık alın.