3 Meta-analiz Nedir?
Meta-analiz, farklı araştırmalarda yer alan nicel verileri bir araya getirerek, genel bir sonuç çıkarma amacı güden istatistiksel bir tekniktir.
Meta-analizlerin gerçekleştirilme şekli, istatistiksel hesaplamanın tamamı gibi, son yıllarda büyük değişimlere uğramıştır. Bu durumun, R İstatistiksel Programlama Dili ve Ortamı biçiminde açık kaynaklı, işbirlikçi istatistiksel yazılımların yükselişiyle çok ilgisi olduğu görülmektedir. R programı, araştırmacıların ve istatistik alanındaki uzmanların kendi paketlerini oluşturmalarına ve bunları kamunun kullanımına ücretsiz olarak sunmalarına olanak tanımaktadır.
Meta-analiz, farklı araştırmaların nicel sonuçlarını bir araya getirerek, genel bir sonuç çıkarma amacı güden istatistiksel bir tekniktir. Bu yöntem, özellikle bir konuda yapılmış çok sayıda bağımsız çalışmanın birleştirilmesinin gerektiği durumlarda kullanılır. Yayımlanmış araştırma bulguların katlanarak artması meta-analizi ihtiyacını arttırmıştır.
3.1 Meta-analiz Temel Kavramlar ve Ugulama Adımları
Bilimsel anlamda yapılan her araştırma öncekinin üzerine yeni bulgular ekleyerek yeni bilgilere kapı açmaktadır (Şen, 2020). Günümüzde hızlı bir şekilde artan, sıklıkla farklı nicel bulgulara sahip araştırmalar meta-analiz ihtiyacını arttırmıştır. Meta-analiz, belirli bir konuda yapılmış birbirinden bağımsız birden çok çalışmanın sonuçlarını birleştirme ve elde edilen araştırma bulgularının istatistiksel analizini yapma yöntemidir (Akgöz, Ercan ve Kan, 2004). Meta-analize katılan çalışmaların ampirik çalışma olmaları, nicel veri üretmeleri, karşılaştırılabilir istatistikler içermeleri, aynı değişkenleri içermeleri ve bu değişkenler arası ilişkileri incelemeleri gibi özelliklere sahip olması gerekir (Lipsey ve Wilson, 2000).
Kitabın takip eden bölümleri sırasıyla; etki büyüklüğü,meta-analizde istatistiksel modeller, etki büyüklüklerinde heterojenlik, yayım yanlılığı, güvenirlik genelleme olarak belirlenmiştir. Bu bölümde öncelikle okuyucuları kitabın içeriğine hazırlamak üzere temel kavramların birer paragraf tanıtımı verilmiş, sonrasında meta-analiz basamaklar ele alınmıştır.
3.1.1 Etki büyüklüğü
Meta-analizin temelinde “etki büyüklüğü” terimi yer alır (Deliktaş vd., 2016; Üstün ve Eryılmaz, 2014). Etki büyüklüğü meta-analiz araştırmalarının temel birimidir ve sosyal bilimlerde genellikle ortalama farkına dayalı etki büyüklüğü ve korelasyonlara dayalı etki büyüklüğü olmak üzere iki türde incelenmektedir.
Ortalama farkına dayalı etki büyüklüğü, ham (standartlaştırılmamış) ortalamaların farkı ve standartlaştırılmış ortalamaların farkı olarak hesaplanmaktadır. Standartlaştırılmamış ortalamaların farkı, bireysel çalışmaların sonuçlarının anlamlı bir ölçekle raporlaştırılması halinde ve meta-analizdeki tüm bireysel çalışmaların aynı ölçeği kullandığında tercih edilen etki büyüklüğüdür. Standartlaştırılmış ortalamaların farkı ise farklı bireysel çalışmalarda farklı ölçüm araçları kullanılmışsa ham ortalamaların birleştirilmesi mümkün olmamaktadır. Bu durumda bireysel çalışmaların sonuçlarının karşılaştırılması esastır (Borenstein, Hedges, Higgins ve Rothstein, 2009, 2013).
Korelasyonel meta-analiz, değişkenler arasındaki ilişkileri daha güçlü örneklemler üzerinden genel bir perspektifle değerlendirmek amacıyla kullanılır. Temel amaç, çeşitli bağımsız çalışmalarda raporlanan Pearson korelasyon katsayılarının birleşik bir tahminini elde etmektir (Hunter ve Schmidt, 2004). Bu süreçte korelasyon katsayıları, varyans stabilitesi sağlamak amacıyla Fisher z-dönüşümüne tabi tutulur.Korelasyonel meta-analiz, psikoloji, eğitim ve sosyal bilimlerde sıklıkla kullanılmakta olup, değişkenler arasındaki ilişki düzeyinin genel geçerliliğini sınamaya olanak tanır. Aynı zamanda örneklem büyüklüğü, ölçüm araçları ve çalışma tasarımları gibi moderatör değişkenler incelenerek, ilişkilerin hangi koşullarda daha güçlü ya da zayıf olduğuna dair çıkarımlar yapılabilir (Rosenthal ve DiMatteo, 2001).
Kitabın bir sonraki bölümünde bu iki etki büyüklüğü türü detaylı olarak ele alınmıştır. İkili (binary) verilere dayalı etki büyüklükleri kitabın içeriğine dahil edilmemiştir.
3.1.2 Meta-analizde istatistiksel modeller
İstatistiksel modeller açısından meta-analiz sürecinde kullanılabilecek farklı varsayımlara sahip iki ana yaklaşım bulunmaktadır. Bunlar sabit etki ve rastgele etkiler modelleridir ve her ikisi de bir dizi çalışmadan ortalama etki büyüklüğü hakkında çıkarım yapmak için geliştirilmiştir (Borenstein vd., 2009; Hedges ve Vevea, 1998; Hunter ve Schmidt, 2000, 2004; Tweedie vd., 2004). Şekil 2 ile kısaca tanıtılan modeller ve ek olarak çok düzeyli meta-analiz modellerinin ayrıntıları X numaralı bölümde ele alınmıştır.
3.1.3 Etki büyüklüklerinde heterojenlik
Meta-analiz uygulamalarında bireysel etki büyüklüklerinin farklılaşması heterojenliği oluşturur. Meta-analizde heterojenlik, meta-analize dahil edilen çalışmalardaki örnekleme hatasından veya çalışmalar arasındaki önemli farklılıklardan kaynaklanabilmektedir (Dinçer, 2020,Huedo-Medina vd., 2006). İstatistiksel testler sonuçlarda heterojenlik olduğunu gösteriyorsa, meta-analize dâhil edilen çalışmaların etki büyüklükleri arasında oluşan farklılıkların sebebini tespit edebilmek için moderatör analizi yapılmaktadır. Etki büyüklükleri arasında önemli farklılıkların olduğu durumlarda, heterojenliği azaltan kaynakları değerlendirmek için moderatör değişkenler kullanılmaktadır (Hedges ve Olkin, 1985). Meta-analizlerde moderatör analizi yapmak için istatistiksel bir test olan Q-testine dayanan “analog ANOVA” ve metaregresyon kullanılabilir. (Üstün ve Eryılmaz, 2014). Heterojenliği değerlendirmek için en yaygın kullanılan testler X numaralı bölümde ele alınmıştır.
3.1.4 Yayım Yanlılığı
Meta-analiz çalışmasına dair önemli olan diğer bir konu da yayım yanlılığıdır. Yayım yanlılığı, çalışmaların sonuçların yönüne ve istatistiksel önemine bağlı olarak yayınlanması anlamına gelmektedir (Rothstein vd., 2005). Yayım yanlılığı genellikle etki büyüklüklerinin daha yüksek tahmin edilmesi ve yanlış pozitif sonuçların yayılması durumuna sebebiyet vermektedir (Lane ve Dunlap, 1978). Yayım yanlılığını tespit etmek ve objektif sonuçlar elde etmek için çeşitli yöntemler bulunmaktadır. Yayım yanlılığını değerlendirmeye yönelik yöntemler arasında Güvenli N (Rosenthal, 1979), huni grafiği (Light ve Pillemer, 1984), Begg ve Mazumdar’ın(1994) sıra korelasyon testi, Egger testi (Egger vd., 1997), kırp ve doldur (Duval ve Tweedie, 2000b) bulunmaktadır ve kitabın X numaralı bölümünde ele alınmıştır.
3.2 Meta-analiz Uygulama Adımları
(PRISMA eklenecek) (Sedat)
Terim olarak ilk kez Glass (1976) tarafından analizlerin analizi anlamında kullanılan meta-analizin genel amacı, bireysel çalışmaların sonuçlarını özetlemek ve bütünleştirmektir. Bu amaçla uygulanmaya başlanan meta-analizin tamamlanması için gerekli olan adımlar şu şekilde açıklanabilir: Araştırma konusunu ve problem durumunu belirleme: Belirlenen araştırma konusuna dair taranılacak çalışma sayısının fazla olması, meta-analizin literatürünü genişletirken, analizin uygulanabilirliğini düşürebilir. Akademik olarak ilgi çeken konuların meta-analizi daha önceden yapılmışsa da tekrarlanarak güncelliğinin korunması sağlanabilir.
Ekleme-çıkarma ölçütlerini belirleme: Meta-analize belirlenen konu ile ilgili tüm çalışmaların dahil edilmesi analizin yürütülebilir olmasını zayıflatacağı için ve çalışmaları subjektif sebeplerle çalışmadan çıkarıp yanlılık oluşturmamak için ele alınacak çalışmaları bazı kesin kriterlere göre belirlemek gerekir. Genel olarak, birincil araştırmaların yayımlandığı diller, zaman aralıkları, yayın türleri; bununla birlikte kültürel kısıtlamalar, hangi veri tabanlarının kullanılacağı, araştırmanın deseni gibi durumlara ilişkin ölçütler belirlenerek taramalar yapılabilir (Field ve Gillet, 2010; Şen ve Yıldırım, 2023).
Literatür taraması yapma: Farklı elektronik veri tabanlarında (Google Akademik, Web of Science, ERIC vb.) anahtar kelimelerle aramalar yapılır. Bu veri tabanlarında bulunmayan dergiler ayrıca incelenip makalelerin kaynakça bölümünden yararlanılır. Yayımlanmamış çalışmaların analize dahil edilmemesinden oluşabilecek yayım yanlılığını azaltmak için bildiriler incelenebilir ve konu hakkında çalışma yapan akademisyenlerle iletişim kurulabilir (Field ve Gillet, 2010).
Uygun çalışmaları belirleme: Bir çalışma dâhil edilme kriterlerini sağlamıyorsa veya araştırmanın sınırlılıkları dışında yer alıyorsa meta-analizde kullanılmaz (Petitti, 2000). Veri eksikliği olan çalışmalar, izinli veya tam metin olmayan yayınlar, meta-analiz için gerekli istatistiksel verileri içermeyen çalışmalar analizden hariç tutulmalıdır ve süreç akış şemasıyla açıklanmalıdır (Ünlü, 2024; Kürü, 2021).
Kalite kontrol incelemelerini yapma: Belirlenen çalışmalardaki hatalı çalışma seçimleri, yanlış veri toplama ve analizler ile çalışmaların sonuçlarının raporlanmasındaki olası yanlılıklar gibi durumlar meta-analizin sonucunu olumsuz etkileyebileceği için standartlaştırılmış araçlar kullanılarak (PRISMA, AMSTAR-2 gibi) kalite kontrol incelemeleri yapılmalıdır (Lucini vd., 2020).
Veri tablosu oluşturma: Her çalışmaya ait bilgiler satırlara, açıkça tanımlanan değişkenler sütunlara yazılarak tablo oluşturulur. Uyum yüzdesi, Cohen’s Kappa katsayısı, Feiss Kappa katsayısı gibi yöntemlerden uygun olanıyla belirlenip kodlayıcılar arası uyum güvenirliği incelenmelidir (Lipsey ve Wilson, 2000).
Etki büyüklüğüne karar verme: Etki büyüklüğü indeksinin seçimi için dikkate alınması gereken üç ana husus vardır:
Farklı çalışmalardan elde edilen etki büyüklükleri, aynı şeyi ölçme açısından birbirleriyle karşılaştırılabilir olmalıdır. Yani etki büyüklüğü, çalışmanın tasarımına özgü unsurlara (örneklem büyüklüğü gibi) bağlı olmamalıdır.
Etki büyüklüğü belirlenen çalışmalarda verilen bilgilerden hesaplanabilir olmalı, yeniden ham verilerin analizini gerektirmemelidir.
Etki büyüklüğü iyi teknik özelliklere sahip olmalıdır. Örneğin, verilen örnekleme dağılımı ile varyans ve güven aralıkları hesaplanabilmelidir.
Eğer veriler iki gruptaki ortalamalar ve standart sapmalar şeklindeyse, uygun etki büyüklüğü olarak ortalamaların ham farkı, standartlaştırılmış ortalama farkı, ya da yanıt oranı kullanılmalıdır. Eğer ikili veriler kullanılıyorsa, uygun etki büyüklüğü risk oranı, odds oranı ya da risk farkı olacaktır. Eğer veriler sürekliyse ve iki değişken arasındaki korelasyon şeklindeyse, etki büyüklüğünü başka bir ölçü birimine değiştirmek mümkün olduğundan korelasyon katsayısı kendi başına etki büyüklüğü olarak kullanılmalıdır (Borenstein vd., 2009).
İstatistiksel analizler: Çalışmalardaki popülasyonlar hakkında gerçekte yapılabilecek varsayımlara ve meta-analizden elde edilmek istenen çıkarım türlerine bağlı olarak sabit etki veya rastgele etkiler modeli seçilir. Ortalama etki büyüklüğü hesaplanır. Heterojenlik analizi, yayım yanlılığı analizleri ve meta-regresyon gibi ek analizler uygulanır.
Ortalama etki büyüklüğü değerini yorumlama: Etki büyüklüğü yorumlarken çalışılan alan gözetilmelidir. En sık kullanılan ölçütlere göre standartlaştırılmış ortalama farkı ile elde edilen ortalama etki büyüklüğü değerleri için 0.2 küçük, 0.5 orta ve 0.8 büyük etki şeklinde nitelendirilir. Korelasyonun etki büyüklüğü ise 0.10 küçük, 0.30 orta ve 0.50 büyük etki şeklinde nitelendirilir (Cohen, 1988). Buna karşın Lipsey ve Wilson (2001) korelasyon etki büyüklüğü değerleri için aynı nitelendirme sırasını 0.10, 0.25 ve 0.40 şeklinde belirlemişlerdir.
Sonuçları raporlama: Meta-analiz raporlamasında belirli standartlara bağlı kalınması için kullanılan başlıca raporlama listeleri PRISMA (Preffered Reporting Items for Systematic Reviews and Meta-Analyses, 2020 güncellenmiş hali) ve APA-MARS (American Psychological Association-Meta‐Analysis Reporting Standards, 2010) şeklindedir. Bu kontrol listeleri çevrimiçi bulunduğu için burada yer verilmeyecektir.
Meta-analiz yapılırken Şekil 3’teki adımlar takip edilmelidir.
3.2.1 Meta-analizin güçlü ve zayıf yönleri
Çalışmaların meta-analiz yöntemi kullanılarak yapılması, literatürde bulunan bilgilerin doğruluğunu ve kesinliğini artıran ve klinik uygulamalarda kanıta dayalı karar vermeyi mümkün kılan bir yöntem olduğu için önemli bir katkı sağlamaktadır (Aksoy Kürü, 2020). Uluslararası alanda birçok meta-analiz çalışması bulunmasına rağmen, ulusal literatürde az sayıda çalışma vardır. Meta-analizin güçlü yönlerini şu şekilde özetleyebiliriz (Açıkel, 2009; Blettner vd., 1999; Ergin, 2017):
- Bir faktörün risk faktörü olarak dikkate alınması gerekip gerekmediğini niteliksel olarak değerlendirmek,
- Bir etkinin varlığını ve büyüklüğünü ortaya çıkartmak,
- Farklı çalışmalar arasındaki heterojenliği araştırmak,
- Tekil çalışmaların sonuçlarını genelleştirmek,
- Benzer örneklem ya da etki büyüklüğüne sahip çalışmaların istatistiksel olarak anlamlılığının artırılması ve çalışmaların geçerliğinin kuvvetlenmesi,
- Bilimsel literatürde karşılaşılan tutarsızlıkların değerlendirilmesi ve nedenlerinin incelenmesi,
- Küçük örnekli çalışmaları birleştirerek, büyük örneklem gücünde yorumlara ulaşmak, kestirimlerin kesinliğini ve gücünü artırmak,
- Aynı etkinin farklı alt gruplardaki sonuçlarının değerlendirilmesi,,
- Kısa sürede ve düşük maliyetle araştırmanın mevcut durumu hakkında oldukça kapsamlı bir genel bakış sunması,
- Başka araştırmalarda değerlendirilebilecek yeni yaklaşımlar sunması. Meta-analizin avantajları kadar dezavantajlı olduğu noktalar da bulunmaktadır. Bu dezavantajları şu şekilde özetleyebiliriz (Şen ve Yıldırım, 2020):
- Verilen cevaplardan çok ortalamalarla yapıldığından dolayı daha az bilgi verir.
- Sadece yayınlanmış çalışmaların yansıtılması yanlılığa yol açar.
- Uygulaması büyük uğraş gerektirir.
- Çalışma seçiminde yanlılık olabilmektedir.
- Çalışmaların kalitesiyle sınırlıdır.
- Özgün çalışmalarda yapılan hatalar kontrol edilememektedir.