SAP IQ (také známý jako SAP Sybase IQ a Sybase IQ) je sloupcově orientovaná relační databáze používaná jako software business intelligence , stejně jako datový sklad a datový trh . Vyvinutý společností Sybase Inc. , nyní ve vlastnictví společnosti SAP . Hlavní funkcí Sybase IQ je analyzovat velká data za nízkou cenu a také vytvářet vysoce dostupné softwarové prostředí. SAP IQ je často propagován jako průkopník komerčních sloupcových databází .
SAP IQ je založen na vysoce výkonné technologii sloupcového úložiště dat, která zvyšuje rychlost komprese dat a provádění ad-hoc dotazů bez dodatečné konfigurace a zároveň zaručuje vysokou škálovatelnost a použití v cloudových službách. SAP IQ také poskytuje schopnost vyvíjet inteligentní aplikace založené na něm. SAP IQ se používá v analytických databázích, inteligentních klientských API , webových technologiích.
Historie produktu sahá až do roku 1993, kdy společnost Expressway Technologies sídlící v Bostonu vyvinula sloupcově orientovanou databázi (CDB) nové generace pro zpracování složitých analytických dotazů, nakonec nazvanou Sybase IQ. Sybase následně získala Expressway a znovu zavedla toto CBD v roce 1995 jako IQ Accelerator, brzy přejmenované na Sybase IQ a očíslované 11.0 [1] . Tím, že nabízí své produkty IQ jako součást kolekce souvisejících technologií datového skladu (včetně Sybase Adaptive Server Enterprise , Replication Server, PowerDesigner a SQL Anywhere), byla Sybase jednou z prvních společností, která rozpoznala potřebu vytvářet specializované produkty v oblasti dat. skladový trh [2] . Počínaje verzí 12.0 nahradil Sybase volně propojené rozhraní dotazů z Adaptive Server Enterprise těsně propojeným SQL Anywhere. Sybase IQ 16 vytvořil nový světový rekord v rychlosti stahování velkých dat [3] .
Společnost SAP navrhla nový přístup k ukládání dat, více optimalizovaný a zjednodušený – SAP In-Memory Data Fabric. [4] Tato architektura ukládání dat do paměti má řadu výhod pro využití v činnosti společnosti:
Na rozdíl od většiny ostatních řešení na trhu je technologie SAP In-Memory Data Fabric postavena od základů na moderních sloupcově orientovaných databázích a poskytuje infrastrukturu se strategickými nástroji pro modelování, vzdálený přístup k datům a vyšší výkon než pouhé přidávání paměti. nebo sloupcové ukládání do mezipaměti do stávajících řešení.
SAP IQ hraje důležitou roli v In-Memory Data Fabric umožňující ukládání dat v petabajtovém měřítku .
SAP IQ má tři hlavní výhody:
Aplikace SAP IQ je velmi široká: finanční služby, telekomunikace, poskytovatelé informací, vládní aktivity, maloobchod, bankovnictví.
Na straně klienta vypadá SAP IQ jako jakýkoli jiný DBMS , který používá dotazy SQL prostřednictvím rozhraní ODBC / JDBC . Interní prvky Sybase IQ jsou však založeny na sloupcově orientovaném systému DBMS, který ukládá datové tabulky spíše ve sloupcích než v řádcích jako většina ostatních tradičních databází.
Sloupově orientovaná architekturaSloupově orientované zařízení má řadu výhod [5] . Pokud hledáte prvky, které se shodují s určitou hodnotou ve sloupci dat, musíte přistupovat k objektům uloženým pouze v něm, ačkoli tradiční databáze prohledají celou tabulku shora dolů. Další výhodou je technologie indexování dat, která umožňuje indexovat veškeré informace, takže storage engine má k dispozici řešení, která jsou přijatelná pro všechny požadavky uživatelů a zároveň jsou formou úložiště a způsobem vyhledávání dat. Zvětšení velikosti datové stránky má za následek efektivnější kompresi a v důsledku toho další vylepšení výkonu. [6]
IndexováníPřed SAP IQ 16 byla každá datová stránka vytvořena jako pole buněk s pevnou velikostí, takže všechny hodnoty měly stejný datový typ. I když je tento přístup k ukládání dat účinný pro strukturovaná data a data s pevnou délkou, není vhodný pro nestrukturovaná data s proměnlivou délkou, která jsou dnes všudypřítomná. Aby se tyto problémy překonaly s minimálním plýtváním prostorem, každá stránka SAP IQ 16 se skládá z buněk různých velikostí hustě pohromadě; sloupce takového úložiště podporují proměnný počet buněk na stránku a různé datové formáty. Při zápisu na disk aplikuje SAP IQ na každou stránku kompresní algoritmus Lempel-Ziv-Welch (LZW) [7] , který výrazně snižuje množství zapisovaných dat. [8] Bitmapy se používají pro sekundární indexy.
Architektura SAP IQSAP IQ využívá clusterovou gridovou architekturu sestávající ze SAP IQ - Multiplex serverů. Tyto clustery jsou potřebné ke zlepšení výkonu, když existuje mnoho souběžných nebo složitých dotazů. Všechny výpočetní uzly interagují s jednou sdílenou pamětí, přičemž dotazy lze provádět v kterémkoli z nich. V konfiguraci Sybase Multiplex existuje jeden uzel – administrátor – který spravuje katalog databáze a koordinuje transakce, které se zapisují do úložiště. Jiné uzly mohou zapisovat nebo číst i zapisovat jako koordinační uzel. Tato architektura má mnoho aplikací. Vyrovnávání pracovní zátěže se dosahuje dynamicky prostřednictvím paralelních požadavků na aktivitu serveru. Uzly se mohou mezi sebou automaticky přepínat – pokud jeden uzel dokončil účast na požadavku, pak ostatní budou pokračovat v práci původně přidělené neúspěšnému uzlu, aby splnily požadavek. Fyzické uzly v Sybase Multiplex lze seskupit do „logických serverů“, což jim umožňuje pracovat izolovaně od ostatních uzlů (například pro účely zabezpečení nebo vyvážené přidělování zdrojů). Účelem takové gridové architektury je poskytnout maximální stabilitu i při provádění globálních transakcí.
Framework a klientská APISAP IQ implementuje dotazy API založené na čistých standardech ANSI SQL (s určitými omezeními), včetně OLAP a fulltextového vyhledávání . Uložené procedury jsou podporovány jak ANSI SQL, tak Transact-SQL a lze je naplánovat nebo spustit okamžitě. Je možné použít řadu databázových ovladačů z takových programovacích jazyků jako Java , C/C++m, PHP , PERL , Python , Ruby , ADO.Net.
Zpracování nestrukturovaných dotazůNestrukturované zpracování dotazů provádí analytický stroj, který dokáže dotazovat jak strukturovaná, tak nestrukturovaná data a spojovat výsledky těchto dotazů dohromady. SAP IQ zavedl nový textový index a je také možné vytvářet speciální textové indexy pro různé binární formy textových souborů za účelem extrahování potřebných dat a provádění fulltextového vyhledávání nebo textové analýzy.
ZabezpečeníSAP IQ poskytuje několik mechanismů, které jsou součástí základního produktu a jsou licencovány samostatně, pro maximalizaci zabezpečení uživatelských dat. SAP IQ verze 16 používá zásady řízení přístupu založené na rolích . Kromě toho jsou k dispozici další možnosti zabezpečení, jako je šifrování FIPS , ověřování Kerberos , ověřování LDAP a šifrování databáze po sloupcích.
Řízení životního cyklu (ILM)V rámci ILM umožňuje SAP IQ uživatelům vytvářet více uživatelských prostorů tabulek (logické úložné jednotky/kontejnery pro databázové objekty) pro organizaci dat. To lze použít k oddělení strukturovaných nebo nestrukturovaných dat, seskupení dat dohromady na základě věku a hodnoty nebo rozdělení dat v tabulce. Tabulkové prostory lze označit pouze pro čtení, aby bylo možné provádět jednorázové kontroly konzistence a zálohování. Další použití ILM poskytuje možnost rozdělovat tabulky a distribuovat tyto části napříč datovým úložištěm a v náhradních blocích, což umožňuje kontrolu nad procesem ukládání a vytváření vrstvených datových úložišť, která přecházejí z rychlejšího a dražšího úložiště na pomalejší a levnější úložiště. na stáří a hodnotě uložených informací.
Multiplex zajišťuje obnovu po havárii, škálovatelnost a vysokou dostupnost pro výpočetní uzly, protože administrátorský uzel se může přepnout na alternativní uzel koordinátora.
Dostupnost a obnova datKonfigurace Sybase IQ Multilex poskytuje škálovatelnost a vysokou dostupnost pro výpočetní uzly s administrátorským uzlem zahrnutým v Multilexu, který může přepnout na alternativní uzel.
SAP IQ Virtual Backup umožňuje uživatelům rychle zálohovat data spolu s technologií replikace dat. Jakmile jsou virtuální zálohy dokončeny, lze je otestovat testem a obnovit; podniková data lze kopírovat pro účely vývoje a testování. SAP tvrdí, že zotavení po havárii je jednodušší při použití masivně paralelního přístupu architektury . Modelovací nástroj SAP Sybase PowerDesigner umožňuje uživatelům vytvořit model ILM, který lze nasadit pomocí SAP IQ, a poté definovat typy úložiště, tabulkové prostory a fáze životního cyklu.
SAP Control CenterSAP Control Center je webový grafický nástroj pro správu a monitorování. SAP Control Center lze použít k monitorování serverů, zdrojů (uzlů, multiplexů) odkudkoli. Webová aplikace má vrstvenou architekturu pluginů.
SAP IQ podporuje připojení externích algoritmů napsaných v C++ a Javě. Dotazy SQL mohou tyto algoritmy používat k provádění analýzy v databázi pro lepší výkon a škálovatelnost. Sybase IQ navíc poskytuje ovladače pro přístup prostřednictvím programovacích jazyků, jako je PHP, Perl, Python a Ruby On Rails.
SAP IQ podporuje většinu hlavních operačních systémů, včetně:
Sybase tvrdí, že Sybase IQ je aktuálně nainstalován na více než 2 000 uživatelských webech. Mezi významné klienty patří comScore Inc [9] , CoreLogic, Investment Technology Group (ITG) [10] a US Internal Revenue Service (IRS) [11] .