Guvernanță modernă a datelor: De ce IBM Manta Data Lineage oferă un avantaj competitiv companiilor

ioanadumitru
Jun 3
6 min read

În toamna anului 2023, IBM a achiziționat Manta Software Inc., o platformă de nivel mondial de prelucrare a datelor fondată cu șapte ani mai devreme, pentru a-și completa capabilitățile de guvernanță a datelor și a inteligenței artificiale.

Pe măsură ce companiile au început să integreze inteligența artificială în fluxurile lor de lucru, iar datele au devenit mai complexe, calitatea și explicabilitatea au ajuns să fie tot mai importante pentru strategiile și sistemele lor. În acest context, achițiționarea Manta Software Inc. de către IBM a dus la apariția IBM Manta Data Lineage.

IBM Manta Data Lineage reprezintă o soluție enterprise, automatizată pentru data lineage, care oferă vizibilitate completă asupra fluxului datelor într-o organizație. Este un instrument specializat în data lineage, adică în urmărirea parcursului datelor de la sursă până la destinație, inclusiv transformările și procesele prin care acestea trec.

Data lineage pe înțelesul tuturor

Pentru a înțelege mai bine soluția oferită de IBM, trebuie să știm ce înseamnă data lineage. Ei bine, data lineage se referă la capacitatea de a urmări și înțelege întregul ciclu de viață al datelor, de la origine, prin diversele transformări și utilizări în cadrul unei organizații, până la consum. Oferă o imagine clară și cuprinzătoare a modului în care datele se deplasează prin diferite procese, sisteme și operațiuni, incluzând sursele de date, transformările, calculele și destinațiile acestora.

Data lineage poate fi reprezentat în diferite formate, inclusiv diagrame, grafice sau descrieri textuale. Acesta ajută organizațiile să înțeleagă și să gestioneze mai eficient activele de date, oferind informații despre calitatea datelor, dependențele dintre date, cerințele de conformitate și impactul modificărilor aduse structurilor sau proceselor de date. Nevoia de Data Lineage este universală în toate industriile, dar este deosebit de valoroasă în domenii precum bancar, financiar și medical, acolo unde acuratețea, integritatea și conformitatea datelor sunt esențiale.

Data lineage susține o gamă largă de cazuri de utilizare, inclusive guvernanța datelor, conformitatea reglementară, managementul riscurilor, asigurarea calității datelor, analiza cauzei principale în identificarea și remedierea incidentelor de date, analiza impactului în cazul modificărilor sau actualizărilor sistemelor sau simplificarea și reducerea timpului și resurselor necesare pentru migrarea platformelor de date și modernizarea aplicațiilor.

Data lineage este o componentă esențială a unei strategii eficiente de management al datelor și a unei practici solide de guvernanță a acestora.

În termeni simpli, data lineage este ca o hartă care urmărește călătoria unei date de la sursa sa inițială până unde este utilizată în final. Ne arată de unde provine o anumită informație, prin ce sisteme și transformări a trecut și unde ajunge în cele din urmă (rapoarte, analize, aplicații etc.).

Imaginează-ți că urmărești un ingredient dintr-o rețetă. Data Lineage îți spune de unde a venit ingredientul (ferma, magazinul), ce s-a întâmplat cu el (a fost tăiat, gătit) și în ce fel de mâncare a fost folosit.

IBM Manta Data Lineage pas cu pas

Acum, în speranța că a devenit ce înseamnă data lineage, putem să revenim la IBM Manta Data Lineage. Aceasta oferă valoare diferențiată practicilor de guvernanță a datelor clienților și îi ajută pe aceștia să rezolve provocările legate de complexitatea datelor printr-o abordare automatizată de vizualizare, optimizare și modernizare a modului în care datele circulă în cadrul organizației. Acest lucru contribuie la construirea încrederii în date, la respectarea cerințelor de conformitate reglementară și la remedierea problemelor legate de date, ajutând organizațiile să eficientizeze operațiunile de gestionare a datelor, să accelereze rezolvarea incidentelor, să reducă ciclul de livrare al analizelor de date și să crească valoarea acestora printr-o platformă automatizată de data lineage.

IBM Manta Data Lineage furnizează un proces complet automatizat, end-to-end, de urmărire a liniei datelor, care include: lineage tehnic detaliat, cu informații la nivel de coloană; inspecția expresiilor de transformare; lineage complet, prin utilizarea de scanere inteligente de date și analiza codului sursă în cadrul uneltelor de date.

Acest proces oferă o urmărire cuprinzătoare a fluxului de date între mai multe sisteme, rezultând o istorie exactă și actualizată a mișcării datelor în cadrul unei organizații.

IBM Manta Data Lineage - un produs care face parte din IBM Cloud Pak for Data - este integrată cu IBM Knowledge Catalog, dar poate fi utilizată și independent.

Capacitatea de aliniere a datelor nu este disponibilă în mod implicit. Un administrator trebuie să instaleze serviciul IBM Knowledge Catalog cu serviciul IBM Manta Data Lineage activat. Pentru a determina dacă un serviciu este instalat, deschideți Catalogul de servicii. Dacă serviciile sunt instalate și gata de utilizare, dalele din catalog afișează Gata de utilizare.

IBM Manta Data Lineage oferă o soluție eficientă care automatizează generarea de Data Lineage, pentru a vizualiza, optimiza și moderniza modul în care datele circulă într-o organizație, economisind timp și efort pentru profesioniștii din domeniul datelor.

IBM Manta Data Lineage: automatizare, eficiență și precizie

IBM Manta Data Lineage utilizează un proces automatizat, extrem de eficient și precis, în patru pași, pentru a colecta, documenta, personaliza și, în cele din urmă, a vizualiza informațiile detaliate despre linia de proveniență a datelor și metadatele pe care le captează, le documentează și le analizează.

Pasul 1 - Colectare (Harvest): IBM Manta Data Lineage se conectează la baze de date sursă, unelte ETL (Extract, Transform and Load) și unelte de raportare și analizează codul SQL (Structured Query Language), ETL și BI (Business Intelligence). Modulul de conectivitate al IBM Manta adună metadate utilizând scanere automate din sisteme esențiale pentru afacere și sisteme analitice, fie în medii hibride, în cloud sau on-premises. Clienții pot, de asemenea, folosi cadrul Open Manta împreună cu API-uri (Application Programming Interfaces) și SDK-uri (Software Development Kits) pentru a capta și îmbunătăți metadatele sistemelor personalizate care nu sunt compatibile cu scanerele existente.

Pasul 2 - Documentare: IBM Manta Data Lineage creează și stochează relații între activele scanate (tabele, vederi, rapoarte BI etc.) și își documentează descoperirile într-o bază de date grafică internă. Ulterior, adaugă semnificații semantice pentru a îmbogăți linia de proveniență la nivel de atribut cu dependențe de date indirecte, logică de transformare, evoluție în timp sau metadate externe precum informații de profilare, scoruri de calitate, etichete PII (Personally Identifiable Information) și altele. Acest lucru oferă perspective acționabile și transformă linia de proveniență a datelor într-un activ valoros.

Pasul 3 - Personalizare: Părțile interesate de linia de proveniență a datelor pot ajusta nivelul de detaliu în funcție de cazurile lor de utilizare specifice. Aceștia pot căuta în întreaga linie de proveniență, pot folosi filtre inteligente pentru a ascunde detaliile nerelevante momentan, pot crea domenii și perspective pentru proiecte specifice, pot revizui versiuni istorice și pot primi notificări și reacționa la schimbări.

Pasul 4 - Vizualizare: Părțile interesate pot crea vizualizări pentru a înțelege linia de proveniență la nivel de coloană, permițând o inspecție și analiză profundă. De asemenea, pot explora linia de proveniență a datelor prin interfața nativă a IBM Manta Data Lineage și o pot integra în fluxurile lor de lucru prin API-uri deschise și robuste, pentru a îmbunătăți calitatea datelor, confidențialitatea și procesele de guvernanță a datelor. Linia de proveniență oferită de IBM Manta poate fi, de asemenea, integrată în pipeline-urile CI/CD (Continuous Integration and Continuous Delivery), pipeline-urile de integrare și livrare continuă, pentru a spori productivitatea inginerilor de date.

În concluzie, IBM Manta Data Lineage oferă o valoare rapidă nu doar prin automatizarea proceselor care anterior erau realizate manual, ci și prin capacitatea de a răspunde mai rapid la întrebări. Acest lucru îți va oferi posibilitatea de a construi încrederea organizațională în datele tale.

IBM Manta Data Lineage este disponibil fie ca o soluție integrată cu IBM Knowledge Catalog, fie ca un instrument independent. Atunci când este integrat cu IBM Knowledge Catalog, IBM Manta Data Lineage permite utilizatorilor să înțeleagă informațiile tehnice despre linia de proveniență a datelor alături de metadatele de afaceri esențiale create în catalogul de date. Exemplele includ termeni de business și scoruri de calitate a datelor.

IBM Manta Data Lineage este destinată organizațiilor care doresc să îmbunătățească guvernanța datelor, să asigure conformitatea cu reglementările și să optimizeze procesele de migrare și integrare a datelor. Printre utilizatorii tipici se numără echipele de DataOps, inginerii de date, analiștii de date și profesioniștii în guvernanța datelor din industrii precum: financiară, sănătate, asigurări, farmaceutică etc.