Denodo Platform – řešení pro logickou správu dat

Představení Denodo Platform

Denodo Platform představuje technologickou odpověď na vývoj v oblasti informací, kdy s postupem času napříč jednotlivými segmenty firem dochází k neustálému produkování dat, které se hromadí v datových zdrojích. Producentem těchto strukturovaných či nestrukturovaných dat jsou často různé nástroje, které mají vůči sobě naprosto heterogenní datové modely. I přes tento „miš maš“ dat je snahou firem nějak utřídit a uřídit tok informací a dát tomuto světu řád a pořádek tak, aby bylo možné nad těmito daty produkovat smysluplný BI. S trochou nadsázky lze říci, že si Denodo stanovilo cíl neuřídit se daty, ale pomocí dat ovlivňovat a řídit rozvoj na správném místě a ve správný čas.

Denodo jako nástroj je tedy platformou pro virtualizaci dat, která nabízí všechny potřebné schopnosti logické datové struktury formou aktivních datový katalogů pro sémantické vyhledávání. K tomu přidává možnost využít špičkovou akceleraci chytrých dotazů poháněnou dnes už umělou inteligencí, automatizovanou správu cloudové infrastruktury a mnoho dalšího …

Integrate - manage - deliver

Aby bylo možné nad různorodými datovými zdroji s neustálenou produkcí dat vystavět onen smysluplný BI, je nezbytné provést pomocí Denodo Platform sled výše uvedený kroků v nadpisu. Dá se říci, že se jedná o datové modelování v datové virtualizaci, které má za cíl překonávat mezeru způsobenou různorodostí datových zdrojů, typů, schémat, metodik, procesů apod.

Denodo Platform si klade za cíl:

• zpřístupňovat data uživatelům či aplikacím v reálném čase,
• integrovat data z různých datových zdrojů, schémat, formátů, ale i geografických lokací bez zbytečné replikace,
• poskytovat očekávaný rychlý přístup k utříděným informacím uživatelům různých úrovní znalostí či zkušeností v oblasti BI, SQL apod.,
• a v obecné rovině dosahovat očekávaných cílů v oblasti strukturalizace/unifikace dat bez zbytečných nákladů na lidské či infrastrukturní zdroje.

Architektura Denodo Platform

Když už víme, k čemu DenodoPlatform slouží, je na čase si říct, z jakých jednotlivých komponent se skládá. Makro pohledem na architekturu se dostáváme ke čtyřem částem (nástrojů je více), kterými jsou:

• Virtual DataPort server,
• Solution Manager,
• Data catalog,
• a Scheduler

Virtual DataPort server je pomyslným motorem celé platformy. Umožňuje zpracovávat řadu distribuovaných a heterogenních datových zdrojů, jako by data z nich byla vložena do velké virtuální databáze. Působí jako "zprostředkovatel", který poskytuje strukturovaný a jednotný pohled na data obsažená ve všech zdrojových databázích, souborech apod. (od více po méně strukturované zdroje). Zároveň přes southbound konektor dokáže připojit veškeré možné zdroje dat (JDBC, ODB, MS Excel, CSV, JSON, SOAP, XML atd.) a zpřístupnit virtualizovaná data z nich přes northbound konektor (IBM Cognos Analytics, Power BI, Tableau, MS Excel atd.).

Pro smysluplné uřízení celé platformy a všech jejich nástrojů byl vytvořen SolutionManager. Technicky se jedná o první komponentu, co se týká instalace a konfigurace. Po jejím nasazení je možné managovat více VQL serverů, konfigurovat Data Catalog či Scheduler, vytvářet clustery apod. Díky Solution manageru je možné zpřístupnit funkce pro automatizovanou správu nasazeného řešení, čímž jsou úlohy DevOps výrazně zjednodušeny a získávají na agilnosti. Komponenta poskytuje centralizované webové uživatelské rozhraní, umožňuje jednodušší a efektivnější správu nasazení jednotlivých releasů a v neposlední řadě slouží pro správu licencí celé platformy.

Data catalog je určený zejména business uživatelům, tedy lidem, kteří potřebují data rychle a v dostupné formě pro provádění analýz, modelaci datových modelů apod. Byl navržen tak, aby jej obsloužili uživatelé bez hluboké znalosti SQL, přesto byly tito uživatelé schopni pracovat s podnikovými daty, vyhledávat souvztažnosti napříč zdrojovými databázemi, ale i uživatelskými datovými modely apod. Komponenta je dostupná z webu, zpřístupňuje entity, asociace atd. v grafickém podání, aby obsluha byla skutečně co nejjednodušší pro koncové uživatele.

Poslední součástí z výše uvedeného seznamu je komponenta Scheduler. Jak už název napovídá, tato část se stará o automatizaci procesů a generování výstupů. Typickými use case scénáři uživatelů, které naplňuje, je import/export dat do databáze (i souboru ve formátech .csv, .xlsx apod.), indexaci dat pro vyhledávání, cashovaní do mezipaměti či nastavení pravidelných úloh generujících nejrůznější statistiky, mapující změny apod.

Připojení datového zdroje a import tabulek

Aby uživatelé či nástroje mohli vytvářet reporty či konzumovat na výstupu data, je nejprve nutné připojit datové zdroje. To se provádí standardně přes connection string databáze a credentials. Po úspěšném otestovaní napojení pak dochází k výběru tabulek, které mají být naimportovány do Denodo. Jedná se o načtení základních a potřebných metadat, nikoliv import jejich obsahu (nedochází k replikaci či redundaci dat). Takto uložené tabulky v terminologii Denodo představují tzv. baseview. Z nich se pak pomocí výběru (volba selection) vytváří tzv. derivedview, která mohou mít jiný název, upravené názvy či popisky atributů, zredukovaný výběr atributů z původního base view apod. Na oba dva typy view je možné aplikovat různé view restriction nebo tagy, které zpřístupňují obsah (sloupce či řádky) za jasně předem daných podmínek.

Je libo SQL či drag and drop

Platforma Denodo se snaží vyjít vstříc uživatelům s různou znalostí či zkušeností s SQL či BI, proto je na každém z nich, jakou metodou přistoupí realizaci svých datových modelů. Pro ty méně zkušené z pohledu znalostí SQL či preferující práci ve GUI je možné použít metodu/volbu drag and drop. Uživatel vybere dvě a více derived view (ze kterých chce poskládat datový model), provede několik úprav na vybraných záložkách (např. doplní název, upraví cestu, kde má model být uložen atd.) a nakonec svou práci uloží. Obsah nově vytvořeného datového modelu vrátí kliknutím na možnost Execution panel.

Preferuje-li uživatel spíše psaní SQL skriptů, otevře VQL Shell konzoli, do které jednoduše nakopíruje skript či jej zde napíše. Kombinace Ctrl+Enter mu vrátí obsah (standardní select), který může uložit v podobě view (create). Na již uložené view či spuštěný select se vždy aplikují práva/role, které byly uživateli při realizaci účtu nastaveny. Dle druhu zdrojové databáze (rozdílné funkce pro Oracle, PostgreSQL, DB2 atd.) je nezbytné vybírat podporované funkce, jinak se práce ve VQL Shell konzoli neliší od jiných databázových nástrojů určených pro jejich obsluhu a správu.

Konzumace výstupů

Denodo dovoluje uživatelům zobrazovat výstup z view či uživatelských datových modelů rozličnou formou. Samo Denodo chápe zobrazení výstupu ve VQL Shell konzoli nebo GUI Denodo Design Studia jako jedny ze způsobů zobrazení dat. Další možností nacházející se přímo v platformě je již zmíněný Data Catalog, který slouží jako samoobslužný nástroj (orientovaný zejména na business konzumenty) pro zobrazení či export výstupů. Kromě nástrojů přímo implementovaných v platformě je možné pro vizualizaci dat použít podporované externí SQL konzole jako Dbeaver. Pro více interaktivní a zejména vizualizačně zajímavé zobrazení dat není problém připojit nástroje jako Power BI (ODBC) či IBM Cognos Analytics (JDBC). V neposlední řadě je možné obsah view zpřístupnit přes API (např. metodou REST Web service nebo GraphQL).

 A takto může vypadat výstup dat z Denodo ve vizualizačním nástroji (IBM Cognos Analytics).