Korrelyasiya nədir? Data elmində əlaqə təhlilinin əsas prinsipləri

Korrelyasiya iki dəyişən arasındakı əlaqənin istiqamətini və gücünü ölçən statistik anlayışdır. Əmsalın şərhi, növlər, metodlar və geniş yayılmış səhvlər bu bələdçidədir.

BIART Bilişim8 dəq oxu10 baxış
Korelasyon Nedir? Veri Biliminde Bağlantı Analizinin Temel İlkeleri

Korrelyasiya nədir? Korrelyasiya iki dəyişən arasındakı əlaqənin istiqamətini və gücünü rəqəmlə ifadə edən statistik ölçüdür. Dəyişənlərdən biri dəyişəndə digərinin də birlikdə dəyişib-dəyişmədiyini göstərir. Nəticə -1 ilə +1 arasında olan korrelyasiya əmsalı ilə ümumiləşdirilir; lakin bu dəyər tək başına səbəb-nəticə əlaqəsini sübut etmir.

BIART Bilişim olaraq bankçılıq, sığorta, enerji və dövlət qurumlarında data anbarı, hesabatlıq və analitika layihələri həyata keçirərkən ən çox gördüyümüz səhv korrelyasiya nəticələrinin kontekstdən kənar şərh edilməsidir. Bu bələdçi dəyişənlər arasındakı əlaqəni düzgün oxumağınız üçün hazırlanıb.

Korrelyasiya nədir? Əsas tərifi və statistikadakı yeri

Data təhlilində ilk suallardan biri budur: iki ölçmə bir-biri ilə əlaqəlidirmi? Korrelyasiya təhlili bu suala rəqəmli və müqayisə oluna bilən cavab verir. Dəyişən seçimi, risk qiymətləndirməsi və hesabatlıq qərarlarının əsasında durur.

Korrelyasiya sözünün mənası və məntiqi

Söz "birlikdə" və "əlaqə" mənasını verən Latın köklərindən gəlir. Məntiqi sadədir: iki dəyişən eyni anda müəyyən qaydada hərəkət edirsə, aralarında korrelyasiya var. Bu qayda eyni istiqamətdə, əks istiqamətdə ola bilər və ya heç olmaya bilər.

İki dəyişən arasındakı əlaqəni anlamaq

Bir filialın aylıq kampaniya xərcləri ilə yeni müştəri sayı arasındakı əlaqəni düşünün. Xərc artdıqca müştəri sayı da artırsa, dəyişənlər arasındakı bağ güclüdür. Bu əlaqəni anlamağın ilk addımı datanı səpilmə qrafiki üzərində vizuallaşdırmaqdır. Qrafik əmsalın gizlədə biləcəyi qanunauyğunluqları aydın göstərir.

Korrelyasiya əmsalı (r) nədir və necə şərh olunur?

Korrelyasiya əmsalı əlaqəni tək bir rəqəmə endirir. Ən geniş yayılmış işarəsi "r" hərfidir. Ölçü vahidindən asılı olmadığı üçün fərqli miqyaslı dəyişənləri müqayisə etmək mümkündür.

Əmsalın dəyər aralığı (-1 ilə +1 arası)

  • +1: mükəmməl müsbət xətti əlaqə
  • 0: xətti əlaqə yoxdur
  • -1: mükəmməl mənfi xətti əlaqə

Əlaqənin gücünü və istiqamətini müəyyən etmək

İşarə istiqaməti, mütləq dəyər isə gücü göstərir. Aşağıdakı sərhədlər geniş istifadə olunan praktik bələdçidir; sahələrə görə dəyişə bilər.

|r| aralığıŞərh (bələdçi)
0,00 - 0,19Çox zəif
0,20 - 0,39Zəif
0,40 - 0,59Orta
0,60 - 0,79Güclü
0,80 - 1,00Çox güclü

Gücü və istiqaməti birlikdə oxumaq vacibdir: r = -0,75 dəyəri güclü mənfi korrelyasiya deməkdir.

Statistik əhəmiyyətlilik (p-dəyəri) və onun önəmi

Kiçik nümunələrdə yüksək r dəyəri təsadüfən ortaya çıxa bilər. Buna görə əmsal ilə birlikdə p-dəyəri də göstərilir. P-dəyəri əlaqə əslində olmasaydı, bu qədər ifrat əmsal görmə ehtimalını ifadə edir. Aşağı p-dəyəri statistik əhəmiyyətlilik verir, lakin əlaqənin praktik baxımdan vacib olduğuna zəmanət vermir. Nümunə həcmini də həmişə qeyd edin.

Korrelyasiya növləri hansılardır?

Müsbət korrelyasiya (eyni istiqamətdə hərəkət)

Bir dəyişən artdıqda digəri də artır. Nümunə: iş saatı ilə istehsal olunan vahid sayı. Müsbət korrelyasiya r dəyərinin sıfırdan böyük olması ilə tanınır.

Mənfi korrelyasiya (əks istiqamətdə hərəkət)

Biri artdıqda digəri azalır. Nümunə: maşının yaşı ilə istehsal səmərəliliyi. Mənfi korrelyasiya r dəyərinin sıfırdan kiçik olmasıdır və risk idarəetməsi üçün çox dəyərlidir.

Sıfır korrelyasiya (əlaqəsizlik halı)

r dəyəri sıfıra yaxındırsa, xətti əlaqə görünmür. Bu, əlaqə yoxdur demək deyil; əlaqə qeyri-xətti formada ola bilər.

Ən geniş yayılmış korrelyasiya təhlili metodları

Metod seçimi data tipindən və paylanmadan asılıdır.

MetodNəyi ölçür?Nə zaman?
PearsonXətti əlaqəFasiləsiz, təxminən normal paylanmış data
SpearmanMonoton əlaqə (sıra)Sıralı data, kənar qiymət və ya qeyri-normal paylanma
Kendall TauSıra uyğunluğuKiçik nümunə, çoxlu bərabər qiymət

Pearson hasil momentlər korrelyasiyası

Pearson korrelyasiyası xam qiymətlər üzərindən xətti əlaqəni ölçür. Kənar qiymətlərə həssasdır; tətbiqdən əvvəl data paylanmasını yoxlayın.

Spearman sıra korrelyasiyası

Spearman korrelyasiyası qiymətlər əvəzinə sıralardan istifadə edir. Əlaqə xətti olmasa belə, davamlı artan və ya azalan (monoton) olarsa, onu tutur. Pearson ilə arasındakı əsas fərq budur: biri qiymətlərin böyüklüyünə, digəri sıralamasına baxır.

Kendall Tau və qismən korrelyasiya

Kendall Tau sıra uyğunluğuna əsaslanır və kiçik nümunələrdə üstün tutulur. Qismən korrelyasiya isə üçüncü dəyişənin təsirini sabitləyərək iki dəyişən arasındakı əlaqəni təcrid edir. Gizli amildən şübhələnildikdə faydalıdır.

Korrelyasiya ilə səbəbiyyət arasındakı kritik fərq

Birlikdə dəyişmə səbəb-nəticə əlaqəsidirmi?

Xeyr. Korrelyasiya yalnız birlikdə dəyişməni göstərir. A ilə B arasındakı əlaqə; A-nın B-yə səbəb olması, B-nin A-ya səbəb olması, ortaq üçüncü amil və ya təsadüf ola bilər. Səbəbiyyət nəzarətli təcrübələr və uyğun səbəbi nəticə çıxarma metodları ilə yoxlanılır.

Saxta korrelyasiya (Spurious Correlation) nədir və nümunələri

Saxta korrelyasiya iki dəyişənin əslində bir-birinə təsir etmədiyi halda əlaqəli görünməsidir. Klassik, fərziyyə xarakterli nümunə: yay aylarında dondurma satışları ilə dənizdə qəzalar birlikdə artə bilər. Ortaq amil isti havadır. Biznes datasında da hər iki göstərici mövsümilikdən təsirlənirsə, aralarında yanıldıcı bağ yaranır.

Korrelyasiya ilə reqressiya arasındakı fərqlər

Əlaqənin aşkarlanması və proqnozlaşdırma fərqi

  • Korrelyasiya: əlaqənin istiqamətini və gücünü ümumiləşdirir; dəyişənlər simmetrikdir.
  • Reqressiya: asılı dəyişəni müstəqil dəyişənlərdən proqnozlaşdıran model qurur; dəyişənlərin rolu müəyyəndir.

Əvvəlcə korrelyasiya ilə əlaqəni kəşf etmək, sonra reqressiya ilə proqnoz modeli qurmaq geniş yayılmış iş axınıdır.

Korrelyasiyanın müxtəlif sahələrdə praktik istifadəsi

Maliyyə və investisiya portfellərində risk idarəetməsi

Portfel şaxələndirilməsi korrelyasiyaya əsaslanır. Bir-biri ilə aşağı və ya mənfi korrelyasiyalı aktivlər birlikdə saxlandıqda ümumi dalğalanma azalır. Məsələn, bir səhm düşərkən əks istiqamətdə hərəkət edən aktiv itkini qismən tarazlaya bilər. Böhran dövrlərində korrelyasiyaların dəyişə biləcəyini unutmayın.

Tibb və səhiyyə elmlərində klinik tədqiqatlar

Klinik tədqiqatlarda bir ölçmə ilə bir sağlamlıq göstəricisi arasındakı əlaqəni araşdırmaq üçün korrelyasiyadan istifadə olunur. Bu, hipotez yaratmağa xidmət edir; müalicənin təsirini sübut etmək üçün randomizə edilmiş nəzarətli tədqiqat lazımdır.

Data elmi və maşın öyrənməsində çoxlu xəttilik yoxlanışı

Modelləşdirmədən əvvəl korrelyasiya matrisi hazırlanır. Bu matris bütün dəyişən cütlərinin əmsallarını tək cədvəldə göstərir. İki müstəqil dəyişən bir-biri ilə çox yüksək korrelyasiyalı olarsa, çoxlu xəttilik (multicollinearity) problemi yaranır; reqressiya əmsalları qeyri-sabitləşir və şərh etmək çətinləşir. Tətbiq addımları:

  1. Korrelyasiya matrisini yaradın və istilik xəritəsi ilə vizuallaşdırın.
  2. Yüksək korrelyasiyalı dəyişən cütlərini müəyyən edin.
  3. Biznes biliyinə görə birini çıxarın və ya dəyişənləri birləşdirin.
  4. Lazım gələrsə, əlavə diaqnostik meyarlarla nəticəni doğrulayın.

Bu cür işlər etibarlı data idarəetməsi infrastrukturu tələb edir; keyfiyyətsiz data hesablanan hər əmsalı pozur. Datanın haradan gəldiyini izləmək üçün data mənşəyi və data trust yazımıza nəzər sala bilərsiniz. Təhlilləri qurum səviyyəsində yaymaq üçün biznes zəkası və self-servis analitika həllərindən istifadə olunur. Çoxlu dəyişənin olduğu böyük data mühitlərində korrelyasiya matrisi də miqyaslana bilən platformada hesablanmalıdır.

Korrelyasiya təhlilində tez-tez edilən səhvlər və diqqət edilməli məqamlar

Kənar qiymətlərin (Outliers) təhlilə təsiri

Tək bir kənar qiymət Pearson əmsalını nəzərəçarpacaq dərəcədə yüksəldə və ya azalda bilər. Həll yolları:

  • Səpilmə qrafiki ilə kənar qiymətləri vizual olaraq aşkarlayın.
  • Data daxiletmə səhvi, yoxsa real ifrat hal olduğunu araşdırın.
  • Kənar qiymətə davamlı Spearman korrelyasiyasını da hesablayıb müqayisə edin.
  • Çıxarma qərarını və səbəbini mütləq sənədləşdirin.

Qeyri-xətti əlaqələrin nəzərdən qaçırılması

Pearson yalnız xətti əlaqəni ölçür. Dəyişənlər arasında U şəkilli (kvadratik) əlaqə varsa, əmsal sıfıra yaxın çıxa bilər; halbuki bağ çox güclüdür. Məsələn, bir prosesin səmərəliliyi müəyyən temperaturda zirvəyə çatıb iki yanda düşürsə, bu qeyri-xətti qanunauyğunluq r dəyərində görünmür. Buna görə r = 0 nəticəsini "əlaqə yoxdur" kimi oxumayın.

Anscombe dördlüyü: vizuallaşdırmanın önəmi

Statistik Francis Anscombe-un dördlüyü eyni ortalamaya, dispersiyaya və təxminən eyni korrelyasiya əmsalına (təxminən 0,816) malik dörd data dəstindən ibarətdir. Lakin qrafiklərə baxıldıqda biri xətti, biri əyri, biri kənar qiymətli, biri isə tək bir ifrat nöqtəyə bağlıdır. Dərs aydındır: əmsalı həmişə səpilmə qrafiki ilə birlikdə şərh edin.

Mənbələr və nəticə

Mövzunu dərindən öyrənmək üçün Wikipedia-dakı Correlation məqaləsinə, Anscombe's quartet məqaləsinə və NIST-in e-Handbook of Statistical Methods mənbəyinə baxa bilərsiniz. İstinad layihələrimiz üçün istinadlar səhifəmizi nəzərdən keçirə bilərsiniz.

Xülasə, korrelyasiya əlaqəni kəşf etmək üçün güclü, lakin tək başına qeyri-kafi vasitədir. Düzgün metodu seçin, kənar qiymətləri və qeyri-xətti qanunauyğunluqları yoxlayın, səbəbiyyət iddiasından çəkinin. Qurumunuzda etibarlı data təhlili infrastrukturu qurmaq üçün: Layihəniz üçün birlikdə çalışaq. Əlaqə saxlayın

Tez-tez verilən suallar

Korrelyasiya əmsalı -1 çıxarsa nə deməkdir?

Mükəmməl mənfi xətti əlaqə var. Bir dəyişən artdıqda digəri tam mütənasib şəkildə azalır. Real datada nadir hallarda görülür; görülərsə, hesablama və ya data təkrarı səhvi olub-olmadığı yoxlanılmalıdır.

Korrelyasiya niyə səbəbiyyət demək deyil?

Korrelyasiya yalnız birlikdə dəyişməni göstərir. Üçüncü gizli dəyişən, təsadüf və ya tərs istiqamətli təsir eyni nəticəni yarada bilər. Səbəbiyyəti göstərmək üçün eksperimental dizayn və ya səbəbi nəticə çıxarma metodları lazımdır.

Pearson ilə Spearman korrelyasiyası arasındakı fərq nədir?

Pearson xətti əlaqəni xam qiymətlər üzərindən ölçür və kənar qiymətlərə həssasdır. Spearman qiymətlərin sıralarından istifadə edir; monoton əlaqələri tutur və kənar qiymətlərə daha davamlıdır.

Saxta (spurious) korrelyasiya nə deməkdir?

İki dəyişənin əslində bir-birinə təsir etmədiyi halda, ortaq üçüncü amil və ya təsadüf səbəbindən statistik olaraq əlaqəli görünməsidir.

Tibbdə korrelyasiya nə deməkdir?

Klinik tədqiqatlarda risk faktoru ilə nəticə arasındakı birlikdə dəyişməni ifadə edir. Müalicənin təsirini sübut etmək üçün isə nəzarətli tədqiqat lazımdır.

Korrelyasiya ilə reqressiya arasındakı əsas fərq nədir?

Korrelyasiya əlaqənin istiqamətini və gücünü tək əmsalla ümumiləşdirir. Reqressiya isə bir dəyişəni digərindən proqnozlaşdıran model qurur və dəyişənlərin rolunu ayırır.

Maliyyədə mənfi korrelyasiya portfeli necə qoruyur?

Qiymətləri əks istiqamətdə hərəkət edən aktivlər birlikdə saxlandıqda, birindəki itki digərindəki qazancla qismən tarazlanır və portfelin ümumi dalğalanması azalır.

Paylaş