Az SAP IQ (más néven SAP Sybase IQ és Sybase IQ) egy oszloporientált relációs adatbázis , amelyet üzleti intelligencia szoftverként , valamint adattárházként és adatpiacként használnak . A Sybase Inc. fejlesztette . jelenleg az SAP tulajdona . A Sybase IQ fő funkciója a nagy adatok alacsony költségű elemzése, valamint egy magasan elérhető szoftverkörnyezet létrehozása. Az SAP IQ-t gyakran a kereskedelmi oszlopos adatbázisok úttörőjeként emlegetik .
Az SAP IQ a nagy teljesítményű oszlopos adattárolási technológián alapul, amely további konfiguráció nélkül növeli az adattömörítés és az ad-hoc lekérdezések végrehajtásának sebességét, miközben garantálja a magas skálázhatóságot és a felhőszolgáltatásokban való felhasználást. Az SAP IQ arra is lehetőséget ad, hogy intelligens alkalmazásokat fejlesszenek rá. Az SAP IQ-t analitikai adatbázisokban, intelligens kliens API -kban és webes technológiákban használják.
A termék története 1993-ig nyúlik vissza, a bostoni székhelyű Expressway Technologies-hez, amely egy következő generációs oszlop-orientált adatbázist (CDB) fejlesztett ki összetett elemző lekérdezések feldolgozására, végül Sybase IQ néven. A Sybase ezt követően felvásárolta az Expressway-t, és 1995-ben újra bevezette ezt a CBD-t IQ Accelerator néven, amelyet hamarosan átkereszteltek Sybase IQ-ra, és számozása 11.0 [1] . Azáltal, hogy IQ-termékeit a kapcsolódó adattárház-technológiák gyűjteményének részeként kínálta (beleértve a Sybase Adaptive Server Enterprise -t , a Replication Server-t, a PowerDesignert és az SQL Anywhere-t), a Sybase az első vállalatok egyike volt, amely felismerte, hogy speciális termékeket kell létrehozni az adatokban. raktárpiac [2] . A 12.0-s verziótól kezdve a Sybase az Adaptive Server Enterprise lazán csatolt lekérdezési felületét a szorosan összekapcsolt SQL Anywhere-re cserélte. A Sybase IQ 16 új világrekordot állított fel a nagy adatletöltési sebesség tekintetében [3] .
Az SAP az adattárolás új, optimalizáltabb és egyszerűsített megközelítését javasolta – SAP In-Memory Data Fabric. [4] Az adattárolásnak ez a felépítése a memóriában számos előnnyel jár a vállalat tevékenységei során:
A piacon lévő legtöbb más megoldástól eltérően az SAP In-Memory Data Fabric technológiát az alapoktól kezdve a modern oszlop-orientált adatbázisok tetejére építették, és stratégiai eszközökkel rendelkező infrastruktúrát biztosítanak a modellezéshez, a távoli adateléréshez és a memória bővítésén túlmenően nagyobb teljesítményhez. vagy oszlopos gyorsítótárazás a meglévő megoldásokhoz.
Az SAP IQ fontos szerepet játszik az In-Memory Data Fabricban, amely lehetővé teszi a petabájtos adattárolást .
Az SAP IQ-nak három fő előnye van:
Az SAP IQ alkalmazása igen széles: pénzügyi szolgáltatások, távközlés, információszolgáltatók, kormányzati tevékenység, kiskereskedelem, banki szolgáltatások.
Ügyféloldalról az SAP IQ úgy néz ki, mint bármely más DBMS , amely ODBC / JDBC interfészeken keresztül SQL-lekérdezéseket használ . A Sybase IQ belső elemei azonban egy oszloporientált DBMS-en alapulnak, amely az adattáblázatokat oszlopokban tárolja, nem pedig sorokban, mint a legtöbb hagyományos adatbázis.
Oszloporientált architektúraAz oszloporientált eszköznek számos előnye van [5] . Ha egy adatoszlopban egy adott értéknek megfelelő elemeket keres, akkor csak a benne tárolt objektumokat kell elérnie, bár a hagyományos adatbázisok felülről lefelé a teljes táblázatot átvizsgálják. További előnye az adatindexelési technológia, amely lehetővé teszi az összes információ indexelését, így a tárolómotor minden felhasználói kérésre elfogadható megoldásokkal rendelkezik, miközben egy tárolási forma és egy adatkeresési mód. Az adatlap méretének növelése hatékonyabb tömörítést és ennek eredményeként további teljesítményjavulást eredményez. [6]
IndexelésAz SAP IQ 16 előtt minden adatoldal fix méretű cellatömbként épült fel, így minden érték azonos adattípusú volt. Bár ez az adattárolási megközelítés hatékony a strukturált és rögzített hosszúságú adatok esetében, nem kényelmes a ma mindenütt jelen lévő, strukturálatlanabb és változó hosszúságú adatokhoz. Annak érdekében, hogy ezeket a problémákat minimális helypazarlás mellett leküzdjék, minden SAP IQ 16 oldal különböző méretű, sűrűn egymásba csomagolt cellákból áll; egy ilyen tároló oszlopai oldalanként változó számú cellát és különféle adatformátumokat támogatnak. Lemezre íráskor az SAP IQ a Lempel-Ziv-Welch (LZW) [7] tömörítési algoritmust alkalmazza minden oldalra, ami jelentősen csökkenti a kiírt adatok mennyiségét. [8] Másodlagos indexekhez bittérképeket használnak.
SAP IQ architektúraAz SAP IQ fürtözött grid architektúrát használ, amely SAP IQ - Multiplex szerverekből áll. Ezek a fürtök a teljesítmény javításához szükségesek, ha sok egyidejű vagy összetett lekérdezés van. Minden számítási csomópont egyetlen megosztott memóriával működik együtt, miközben a lekérdezések bármelyikben végrehajthatók. A Sybase Multiplex konfigurációban van egy csomópont - az adminisztrátor -, aki kezeli az adatbázis-katalógust és koordinálja a lerakatba írt tranzakciókat. Más csomópontok írhatnak vagy írhatnak és olvashatnak is koordináló csomópontként. Ennek az architektúrának számos alkalmazása van. A terheléskiegyenlítés dinamikusan érhető el a szervertevékenység párhuzamos kérései révén. A csomópontok automatikusan válthatnak egymás között – ha az egyik csomópont befejezte a kérésben való részvételt, akkor a többiek folytatják az eredetileg a sikertelen csomóponthoz rendelt munkát a kérés teljesítése érdekében. A Sybase Multiplex fizikai csomópontjai "logikai szerverekbe" csoportosíthatók, lehetővé téve számukra, hogy a többi csomóponttól elkülönítve működjenek (például biztonsági okokból vagy kiegyensúlyozott erőforrás-allokáció érdekében). Egy ilyen grid architektúra célja a maximális stabilitás biztosítása még a globális tranzakciók végrehajtása során is.
Keretrendszer és ügyfél API-kAz SAP IQ tisztán ANSI SQL szabványokon alapuló API-lekérdezéseket valósít meg (bizonyos korlátozásokkal), beleértve az OLAP -ot és a teljes szöveges keresést . A tárolt eljárásokat az ANSI SQL és a Transact-SQL is támogatja, és azonnal ütemezhetők vagy futtathatók. Számos adatbázis-illesztőprogram használható olyan programozási nyelvekből, mint a Java , C/C++m, PHP , PERL , Python , Ruby , ADO.Net.
Strukturálatlan lekérdezések kezeléseA strukturálatlan lekérdezések feldolgozását egy elemzőmotor végzi, amely képes lekérdezni strukturált és strukturálatlan adatokat is , és egyesíteni tudja a lekérdezések eredményeit. Az SAP IQ új szövegindexet vezetett be, emellett lehetőség nyílik a szövegfájlok különféle bináris formáihoz speciális szövegindexek létrehozására is, amelyek segítségével a szükséges adatok kinyerhetők és teljes szöveges keresés vagy szövegelemzés végezhető.
BiztonságAz SAP IQ számos, az alaptermékben található és külön licencelt mechanizmust biztosít a felhasználói adatok biztonságának maximalizálása érdekében. Az SAP IQ 16-os verziója szerepalapú hozzáférés-vezérlési házirendet használ . Ezenkívül további biztonsági beállítások is elérhetők, például FIPS -titkosítás , Kerberos -hitelesítés, LDAP -hitelesítés és oszloponkénti adatbázis-titkosítás.
Életciklus-kezelés (ILM)Az ILM-en belül az SAP IQ lehetővé teszi a felhasználók számára, hogy több tábla felhasználói területet (logikai tárolóegységeket/tárolókat adatbázis-objektumokhoz) hozzanak létre az adatok rendszerezéséhez. Ez használható a strukturált vagy strukturálatlan adatok elkülönítésére, az adatok csoportosítására életkor és érték alapján, vagy az adatok táblázatban való felosztására. A táblaterületek írásvédettként jelölhetők meg az egyszeri konzisztencia-ellenőrzések és biztonsági mentések lehetővé tétele érdekében. Az ILM egy másik felhasználási módja lehetővé teszi a táblák particionálását, és ezeknek a részeknek az adattáron belüli és tartalék blokkokban való szétosztását, lehetővé téve a tárolási folyamat vezérlését és többszintű adattárolás létrehozását, amely a gyorsabb és drágább tárolásról a lassabb és olcsóbb tárolási alapúra vált. a tárolt információ koráról és értékéről.
A multiplex biztosítja a katasztrófa utáni helyreállítást, a méretezhetőséget és a számítási csomópontok magas rendelkezésre állását, mivel az adminisztrátori csomópont válthat egy alternatív koordinátor csomópontra.
Az adatok elérhetősége és helyreállításaA Sybase IQ Multilex konfiguráció méretezhetőséget és magas rendelkezésre állást biztosít a Multilexhez tartozó adminisztrátori csomópontokkal rendelkező számítási csomópontok számára, amelyek átadhatnak egy másik csomópontot.
Az SAP IQ Virtual Backup lehetővé teszi a felhasználók számára az adatok gyors biztonsági mentését az adatreplikációs technológia mellett. A virtuális biztonsági mentések elkészülte után egy teszttel tesztelhetők és visszaállíthatók; a vállalati adatok fejlesztési és tesztelési célból másolhatók. Az SAP azt állítja, hogy a katasztrófa utáni helyreállítás egyszerűbb, ha masszívan párhuzamos architektúra megközelítést alkalmazunk . Az SAP Sybase PowerDesigner modellező eszköz lehetővé teszi a felhasználók számára az SAP IQ-val telepíthető ILM-modell felépítését, majd tárolási típusok, táblaterületek és életciklus-fázisok meghatározását.
SAP Control CenterAz SAP Control Center egy webalapú grafikus adminisztrációs és felügyeleti eszköz. Az SAP Control Center segítségével bárhonnan felügyelhetők a szerverek, erőforrások (Nodes, Multiplex). A webalkalmazás réteges plugin architektúrával rendelkezik.
Az SAP IQ támogatja a C++ és Java nyelven írt külső algoritmusok csatlakoztatását . Az SQL-lekérdezések ezeket az algoritmusokat használhatják az adatbázison belüli elemzés elvégzésére a jobb teljesítmény és méretezhetőség érdekében. Ezenkívül a Sybase IQ meghajtókat biztosít a hozzáféréshez olyan programozási nyelveken keresztül, mint a PHP, Perl, Python és Ruby On Rails.
Az SAP IQ támogatja a legtöbb fő operációs rendszert, beleértve:
A Sybase azt állítja, hogy a Sybase IQ jelenleg több mint 2000 felhasználói webhelyen van telepítve. A figyelemre méltó ügyfelek közé tartozik a comScore Inc [9] , a CoreLogic, az Investment Technology Group (ITG) [10] és a US Internal Revenue Service (IRS) [11] .