--- title: "Local SLM’lerin ve OpenAI LLM’lerinin RAG Performans Karşılaştırması — Arfitect Yazıları" lang: tr updated: 2025-02-25T14:54:54Z source: https://www.arfitect.com/tr/insights/rag-performance-comparison-of-local-slms-and-openai-llms --- # Local SLM’lerin ve OpenAI LLM’lerinin RAG Performans Karşılaştırması > Dil modellerinin performansını değerlendirmek, doğru model seçimi açısından kritik bir faktördür. Modeller, bağlama dayalı yanıt üretme, anlam çıkarma ve tutarlılığı koruma açısından farklı seviyelerde başarı gösterebilir. - Yazar: Bünyamin Çağlayan - Yayın tarihi: 2025-02-25T14:54:54Z ### **Giriş** Dil modellerinin performansını değerlendirmek, doğru model seçimi açısından kritik bir faktördür. Modeller, bağlama dayalı yanıt üretme, anlam çıkarma ve tutarlılığı koruma açısından farklı seviyelerde başarı gösterebilir. Bu yazıda, Retrieval-Augmented Generation (RAG) tabanlı bir sistem kullanılarak beş farklı dil modelinin performansının karşılaştırmalı analizi sunulmaktadır. **BLEU, ROUGE ve BERTScore** gibi metrikler temel alınarak yapılan değerlendirmeler doğrultusunda, modellerin doğruluk ve anlamlı yanıt üretme kapasiteleri incelenmiş ve hangi modelin daha başarılı sonuçlar sunduğu belirlenmiştir. ### Veri Hazırlığı ve Sistem Mimarisi Uygulamada kullanılan [**veri seti**](https://www.kaggle.com/datasets/bunyamincaglayan/language-models-compare-dataset), Amerika Birleşik Devletleri’nin resmi belgelerini, mevzuatını ve mahkeme kararlarını içeren [**Govinfo**](https://www.govinfo.gov/)platformundan alınmıştır. Son 1 ay içerisinde yayınlanmış olan mahkeme kararlarının bir kısmının PDF’leri tek bir PDF olarak birleştirilmiştir (543 Sayfa). Bu PDF, RAG tabanlı sisteme yüklenmiş ve her kullanıcı sorusu, tüm PDF üzerinde aranmış ve cevaplanmıştır. Uygulamada dil modellerinin karşılaştırılabilmesini sağlamak amacıyla PDF üzerinden 90 soru yöneltilmiş ve her bir modelin verdiği yanıtlar, bu soruların gerçek cevapları ile karşılaştırılmıştır. Elde edilen sonuçlar doğrultusunda, dil modellerinin cevap doğruluğu ve tutarlılığı analiz edilerek performans değerlendirmesi yapılmıştır. Bu çalışmada karşılaştırılmış olan dil modellerinin süreç boyunca 2 ana görevi vardır. 1. **Sorgu Genişletme:** Gelen sorudan üç yeni soru üretilerek, kullanıcının orijinal sorusu ile birlikte vector search işleminde kullanılır. Bu süreç, doküman içerisindeki en benzer bölümlerin tespit edilmesini sağlar. Cevabın doğru üretilebilmesi için, ilgili bilgiyi içeren bölümlerin doğru bir şekilde belirlenmesi kritik öneme sahiptir. Bu doğruluk, dil modeli tarafından üretilen soruların kalitesine doğrudan bağlıdır. Dolayısıyla, modelin oluşturduğu yeni soruların doğruluğu, sistemin genel performansını ve yanıtlarının güvenilirliğini doğrudan etkilemektedir. 2. **Cevap Üretme:** Soru ile en alakalı metin parçaları ve kullanıcının orijinal sorusu birleştirilerek yanıt oluşturulur. Bu aşamada, dil modelinin **cevap üretme yetkinliği** ve **referans bilgileri analiz edebilme kabiliyeti** doğrudan çıktı kalitesini belirler. Modelin anlama ve sentezleme kapasitesi ne kadar yüksekse, üretilen yanıt da o kadar doğru, tutarlı ve bilgilendirici olacaktır. ![](https://www.arfitect.com/insights/rag-performance-comparison-of-local-slms-and-openai-llms/08.jpg) _Şekil 1 (Akış şeması)_ ### Değerlendirilen Dil Modelleri Bu çalışmada, üçü yerel (local) ve ikisi bulut tabanlı (cloud) olmak üzere toplam beş farklı dil modeli karşılaştırılmıştır. Değerlendirilen modeller şunlardır: - **DeepSeek R1 Qwen 14B distill** (_4-bit quantized_) - **Llama 3.1 8B instruct** (_8-bit quantized_) - **Microsoft Phi-4 14B** (_4-bit quantized_) - **OpenAI GPT-4o** - **OpenAI o3-mini** Yerel modeller, **Ollama** kullanılarak çalıştırılmış, bulut tabanlı OpenAI modellerine ise OpenAI API üzerinden istek gönderilerek yanıtlar alınmıştır. Ek olarak uygulama içerisinde kullanılan **Embedding model, Reranker model, System Prompt, Query prompt** vs. gibi faktörlerin tamamı yalnızca dil modellerinin karşılaştırılabilmesi adına sabit tutulmuştur. ### Değerlendirme Metrikleri Dil modellerinin yanıt kalitesini değerlendirmek için **BLEU, ROUGE-1, ROUGE-2, ROUGE-L ve BERTScore** metrikleri kullanılmıştır. Bu metrikler, model tarafından üretilen yanıtların doğruluğunu, referans yanıtlarla olan benzerliğini ve anlamsal uygunluğunu ölçmek amacıyla seçilmiştir. - **BLEU (Bilingual Evaluation Understudy)**, modelin ürettiği yanıt ile referans yanıt arasındaki **n-gram bazlı benzerliği** ölçerek, dil modelinin doğruluk seviyesini değerlendirir. - **ROUGE-1**, tek tek kelimeler (unigram) bazında referans ve model yanıtları arasındaki örtüşmeyi hesaplar. - **ROUGE-2**, iki kelimelik diziler (bigram) üzerinden model ve referans yanıtlarının benzerliğini ölçer. - **ROUGE-L**, kelime sırası bağımsız olarak modelin referans metinle **en uzun ortak alt dizisini (Longest Common Subsequence — LCS)** analiz ederek, daha esnek bir eşleşme ölçütü sunar. - **BERTScore**, kelime bazlı karşılaştırmalardan farklı olarak, **BERT tabanlı derin öğrenme modeli** kullanarak yanıtların **anlamsal benzerliğini** değerlendirir. Bu metrikler birlikte kullanılarak, modellerin hem **yüzeysel benzerliği** (BLEU, ROUGE) hem de **anlamsal doğruluğu** (BERTScore) analiz edilmiştir. Bu metriklere ek olarak tüm soru, gerçek cevap ve dil modellerinin cevapları tek tek incelenmiş, kelime benzerlikleri aranmaksızın doğru, kısmen doğru veya yanlış olarak etiketlenmiştir. ### Sonuçlar #### 1. BLEU ![](https://www.arfitect.com/insights/rag-performance-comparison-of-local-slms-and-openai-llms/09.png) _Şekil 2 (BLEU Skorları)_ Yukarıdaki grafikte BLEU skorları gösterilmektedir. Ölçülen değerlere göre, **gerçek yanıtlar ile model tarafından üretilen yanıtlar arasındaki en yüksek örtüşme**, **14.34** BLEU skoru ile **OpenAI GPT-4o** modelinde görülmüştür. En düşük örtüşme ise **3.68** BLEU skoru ile **Microsoft Phi-4 14B** (_4-bit quantized_) modelinde ölçülmüştür. Değerlendirilen veri kümesinde, referans yanıtların **kısa ve doğrudan bilgi içeren cevaplardan oluşması**, buna karşın modellerin **daha açıklayıcı ve ayrıntılı yanıtlar üretmesi**, BLEU skorlarının tüm modeller için nispeten düşük çıkmasında bir faktör oluşturur. Bu durum, BLEU metriğinin n-gram bazlı bir ölçüm yöntemi olması ve bağlamsal anlamı doğrudan değerlendirememesi ile açıklanabilir. Bu bağlamda, **mutlak BLEU skorlarından ziyade modeller arası kıyaslama yapmak**, dil modellerinin performansını daha doğru analiz etmeyi sağlamaktadır. #### 2. ROUGE-1 / ROUGE-2 / ROUGE-L ![](https://www.arfitect.com/insights/rag-performance-comparison-of-local-slms-and-openai-llms/10.png) _Şekil 3 (ROUGE-1)_ ![](https://www.arfitect.com/insights/rag-performance-comparison-of-local-slms-and-openai-llms/11.png) _Şekil 4 (ROUGE-2)_ ![](https://www.arfitect.com/insights/rag-performance-comparison-of-local-slms-and-openai-llms/12.png) _Şekil 5 (ROUGE-L)_ Yukarıdaki grafiklerde, **gerçek yanıtlar ile modeller tarafından üretilen yanıtlar arasındaki ROUGE skorları** sunulmaktadır. Tüm **ROUGE metriklerinde Recall değerlerinin daha yüksek çıkmasının**, modellerin yanıtlarını **daha uzun ve açıklayıcı üretmesiyle ilişkili olduğu** değerlendirilmektedir. Daha uzun yanıtlar, referans yanıtlarda yer alan kelimeleri kapsama olasılığını artırarak **Recall skorlarının yükselmesine** neden olmaktadır. Recall skorlarının yüksek olması, BLEU metriğindeki düşük skorların da dil modellerinin daha uzun ve açıklayıcı cevaplar üretmesinden kaynaklanabileceğini desteklemektedir. Bu doğrultuda, modellerin genel performansını değerlendirmek için en uygun karşılaştırma metriği F1 skoru olarak görülmektedir. Tüm ROUGE metriklerinde en yüksek skorlar **OpenAI GPT-4o modeli** tarafından elde edilmiştir: - **ROUGE-1:** 49.92 - **ROUGE-2:** 33.39 - **ROUGE-L:** 44.05 En düşük skorlar ise **Microsoft Phi-4 14B** _(4-bit quantized)_ modeli tarafından alınmıştır: - **ROUGE-1:** 24.63 - **ROUGE-2:** 11.87 - **ROUGE-L:** 20.40 ### 3. BERTScore BLEU ve ROUGE metrikleri, **gerçek yanıtlar ile dil modelleri tarafından üretilen yanıtlar arasındaki kelime bazlı eşleşmeleri ve n-gram benzerliklerini** ölçmektedir. Buna karşın, **BERTScore** doğrudan **anlamsal benzerlik** üzerine odaklanarak, model çıktısının referans yanıtla içerik açısından ne derece örtüştüğünü değerlendirir. Bu sayede, metin karşılaştırmalarına kelime eşleşmelerinin ötesinde bağlamsal bir perspektif kazandırarak, modellerin yanıt kalitesini daha kapsamlı bir şekilde analiz etmeye olanak tanımaktadır. ![](https://www.arfitect.com/insights/rag-performance-comparison-of-local-slms-and-openai-llms/13.png) _Şekil 6 (BERTScore)_ BERTScore grafiği **F1 skoru** üzerinden değerlendirildiğinde, en yüksek skor **91.02** ile **OpenAI GPT-4o modeli** tarafından elde edilmiştir. Bu sonuç, **OpenAI GPT-4o’nun ürettiği yanıtların, gerçek yanıtlarla en yüksek anlamsal uyumu yakaladığını** göstermektedir. Öte yandan, en düşük **BERTScore F1 skoru**, **86.81** ile **Microsoft Phi-4 14B** (4-bit quantized) modeli için ölçülmüştür. Bu durum, söz konusu modelin referans yanıtlarla olan anlamsal benzerliğinin diğer modellere kıyasla daha düşük olduğunu göstermektedir. ### 4. Manuel İnceleme Matematiksel hesaplamalarla kelime, n-gram ve token bazında elde edilen skorlar, model performanslarının değerlendirilmesi açısından önemli bir referans noktası sağlamaktadır. Ancak, bir modelin verdiği yanıt, orijinal cevaptan daha uzun olabilir, farklı yönlerine değinebilir veya referans yanıtta yer almayan kelime gruplarını içerebilir. Buna rağmen, yanıtın özünde **doğru bilgiyi içermesi mümkündür**. Tam tersine, bir dil modelinin ürettiği yanıt, referans yanıtla kelime ve kelime grubu bazında yüksek düzeyde örtüşebilir (özellikle dil modelleri sıklıkla soruyu yanıt içerisinde yeniden ifade edebilir). Ancak, bu yüzeysel benzerlik, modelin verdiği yanıtın doğruluğunu garanti etmez. Aşağıdaki örnekte görüleceği üzere bir yanıt, sözcüksel düzeyde referans metinle uyumlu olsa dahi, içerik açısından hatalı veya eksik bilgi içerebilir. > Örneğin:**Soru:** Yüzölçümü en büyük ülke hangisidir?**Gerçek Cevap:** Dünya’da toplam 195 ülke bulunmaktadır ve yüzölçümü en büyük ülke Rusya’dır.**Modelin Cevabı:** Dünya’da toplam 195 ülke bulunmaktadır ve yüzölçümü en büyük ülke Hindistan’dır. Bu durum, yalnızca otomatik metriklere dayalı değerlendirmenin sınırlı doğruluk seviyesine sahip olduğunu ve doğruluk analizinde nitel incelemenin de önemli bir rol oynadığını göstermektedir. Bu nedenle, değerlendirme sürecinde yalnızca otomatik metrikler değil, **insan gözlemi ile yapılan nitel analiz de** dikkate alınmıştır. Gerçek yanıtlar ile dil modellerinin ürettiği yanıtlar manuel olarak incelenerek, her bir cevap “doğru”, “yanlış” ve “kısmen doğru” olmak üzere üç ana sınıfta gruplandırılmıştır. Elde edilen doğruluk analizine ilişkin görselleştirme aşağıda sunulmaktadır. ![](https://www.arfitect.com/insights/rag-performance-comparison-of-local-slms-and-openai-llms/14.png) _Şekil 7 (Mauel Değerledirme)_ Grafik sonuçlarına göre, en fazla doğru yanıt üreten model 77 doğru cevap ile **OpenAI GPT-4o** olmuştur. En düşük doğruluk oranına sahip model ise 23 doğru yanıt ile **Microsoft Phi-4 14B** _(4-bit quantized)_ olarak ölçülmüştür. Yerel SML modelleri arasında en yüksek doğruluk, 27 doğru yanıt ile **Llama 3.1 8B instruct** _(8-bit quantized_**)** modelinde elde edilmiştir. Ayrıca, en fazla ‘kısmen doğru’ yanıt üreten model 20 yanıt ile **Microsoft Phi-4 14B** _(4-bit quantized)_ olmuştur. Bu durum, **Microsoft Phi-4 14B** _(4-bit quantized)_ modelinin diğer yerel SML modellerine kıyasla daha doğru doküman parçalarına erişebildiğini **veya** konuya daha yüksek düzeyde hakimiyet sağlayabildiğini göstermektedir. Ancak, doğru cevabı oluşturma konusunda **Llama 3.1 8B instruct** _(8-bit quantized)_ modeline göre daha düşük performans sergilediği gözlemlenmiştir. OpenAI modellerinden o3 mini (reasoning model) GPT 4o modeline göre daha gelişmiş bir model olmasına rağmen RAG performansında bir üstünlüğü gözlenmemiştir. ### Sonuç Bu çalışmada, farklı dil modellerinin belirli bir veri setine dayalı soru-cevap performansı değerlendirilmiştir. Yapılan testlerde, modellerin verdiği cevapların doğruluğu ve referans belgelere ne kadar sadık kaldığı analiz edilmiştir. Elde edilen metrik sonuçlarına göre **OpenAI GPT-4o**, BLEU ve ROUGE skorlarında diğer modellere kıyasla daha yüksek başarı göstererek en iyi performansı sergilemiştir. Özellikle ROUGE skorlarında yüksek Recall değerlerine ulaşılması, modellerin daha uzun ve detaylı cevaplar vererek gerçek cevaplardan daha fazla bilgi yakaladığını göstermektedir. Ek olarak manuel inceleme sonucunda, RAG uygulamaları için, dil modellerinin performanslarının yalnızca otomatik hesaplanan BLEU, ROUGE gibi metriklerle değerlendirilmesinin yeterli olmadığı görülmüştür. Okuduğunuz için teşekkürler. ## İlgili içerikler - İlgili vaka: [RCA ARACI](https://www.arfitect.com/tr/case-studies/root-cause-analysis-tool) - İlgili hizmet: [ACENTİK AI İŞ AKIŞLARI](https://www.arfitect.com/tr/services/agentic-automation) - Teknik yazı: [Sıfır İnsan Dokunuşu: Jira Ticket’larından Bitbucket Pull Request’lerine](https://www.arfitect.com/tr/insights/zero-human-touch-from-jira-tickets-into-bitbucket-pull-requests) [Medium'da da yayımlandı](https://medium.com/arfitect/local-slmlerin-ve-openai-llm-lerinin-rag-performans-kar%C5%9F%C4%B1la%C5%9Ft%C4%B1rmas%C4%B1-705a2e79698b)