Texniki Dərinlik

Data Mesh: Domain Yönlü Veri Arxitekturası

Mərkəzi data komandası darboğaza çevrildikdə Data Mesh domain sahibliyi və federativ idarəçiliklə çıxış yolu təklif edir. Hansı təşkilat üçün uyğundur, hansı tələlərdən qaçmaq lazımdır?

BIART Ekibi3 dəq oxu4 baxış
Domain odaklı veri mimarisi şeması

Mərkəzi data komandası modeli son on ilin çoxunda korporativ analitikanı yaratdı. Lakin 2024-2026 illərində bir çox böyük təşkilatda eyni simptomlar göründü: tək komanda hər biznes şöbəsinin prioritetini eyni ağırlıqla qarşılaya bilmir, gözləmə siyahısı 6 aya uzanır, hazırlanan hesabat biznes kontekstindən qopuq qalır. Zhamak Dehghani-nin 2019-da formalaşdırdığı Data Mesh paradiqması bu tıxanıqlığa cavab verir: domain odaqlı, məhsullaşdırılmış və federativ idarəçiliklə işləyən bir veri arxitekturası.

Data Mesh-in Dörd Prinsipi

Data Mesh tək texnologiya deyil, dörd prinsipin cəmidir:

  1. Domain sahibliyi: Veri onu istehsal edən biznes domeninin məsuliyyətindədir. Müştəri verisi marketinqin, sifariş verisi əməliyyatın.
  2. Veri məhsul kimi: Domenin istehsal etdiyi veri məhsul olaraq dizayn edilir — məhsul sahibi, SLA, sənədləşmə və geri-bildirim halqası ilə.
  3. Self-serve veri platforması: Domen komandalarının öz veri məhsullarını qura bilməsi üçün mərkəzi platforma təmin olunur (deployment, müşahidə, schema idarəsi).
  4. Federativ hesablama idarəçiliyi: İdarəçilik mərkəzi deyil federativdir; standartlar (PII teqləməsi, lineage, keyfiyyət qaydaları) platforma tərəfindən avtomatik tətbiq olunur.

Hansı Təşkilat Üçün Mənalıdır?

Data Mesh hər təşkilat üçün doğru cavab deyil. Qiymətləndirməmizdə dörd şərt önəmlidir:

  • Domen müxtəlifliyi: 5+ fərqli biznes domeni varsa mənalıdır; tək domendə gərəksizdir.
  • Data komanda ölçüsü: Mərkəzi komanda darboğaza çevrildiyi halda mənalıdır; kiçik komanda üçün həddən artıq idarəçilik yükü.
  • Engineering mədəniyyəti: Domen komandalarının öz pipeline-larını sahib durması üçün proqram intizamı olmalıdır.
  • Rəhbərlik dəstəyi: Sahiblik bölgüsü üçün CDO/COO səviyyəsində aydın qərar tələb olunur.

Bank və telekom kimi böyük, çox-domenli təşkilatlar üçün Data Mesh transformasiyası 2-3 illik proqramdır. Kiçik e-ticarət və ya tək biznes-xəttli şirkətlər üçün mərkəzi model adətən daha səmərəli qalır.

Tipik Yanlış Anlayışlar

  • "Data Mesh mərkəzi DWH-i bağlamaq deməkdir": Xeyr. Data Mesh data lake/warehouse-u inkar etmir; onları hər domenin istifadə etdiyi platforma kimi mövqeləndirir.
  • "Microservice paradiqmasının veriyə tətbiqidir": Üst qatda bənzər görünsə də microservice əməliyyat verisi üçün, Data Mesh analitik veri üçün dizayn edilib.
  • "İdarəçilik azaldı": Tam əksinə; federativ idarəçilik daha çox qaydanı hər domenə yayır. Avtomatlaşdırma olmadan xaos yaradır.

Tətbiq Yol Xəritəsi

Data Mesh transformasiyaları üçün tövsiyə etdiyimiz mərhələli yanaşma:

  • 1-3-cü aylar: İki pilot domen seçin (ən yetkin və ən təcili olandan birər). Veri məhsulunun tanımlanması, məhsul sahibinin təyini.
  • 3-6-cı aylar: Self-serve platformanın MVP-si — schema registry, lineage, əsas data quality.
  • 6-12-ci aylar: 5-7 domenə yayılma; federativ idarəçilik qaydaları platformaya yerləşdirilir.
  • 12+ ay: Mərkəzi DWH domen veri məhsullarının istifadəçisinə çevrilir və sahiblik domenlərə həqiqətən keçir.

Nəticə

Paylaş