南大通用分布式邏輯數(shù)據(jù)倉庫GBase 8a
產(chǎn)品簡介
市場定位
GBase 8a分析型數(shù)據(jù)庫的主要市場是商業(yè)分析和商業(yè)智能市場。產(chǎn)品主要應(yīng)用在政府、黨委、安全敏感部門、國防、統(tǒng)計、審計、銀監(jiān)、證監(jiān)等領(lǐng)域，以及電信、金融、電力等擁有海量業(yè)務(wù)數(shù)據(jù)的行業(yè)。
關(guān)鍵指標
- 真正的列存儲，數(shù)據(jù)壓縮比最高可達1：30
- 自動提供粗粒度智能索引，高效過濾，膨脹小，免維護
- 可支撐20TB級別的結(jié)構(gòu)化數(shù)據(jù)
- 支持并行計算，充分利用現(xiàn)代的 SMP 多核 CPU 資源
- 數(shù)據(jù)加載速度可達到200GB/小時
產(chǎn)品架構(gòu) · 技術(shù)特性
- 支持標準Linux 內(nèi)核：Cent OS，Redhat， Suse等
- 支持基于x86-64和ARM的標準PC服務(wù)器
- 支持本地存儲（Sata， SAS， SSD etc）
- 支持陣列部署（SAN，NAS）
- 支持SSD，F(xiàn)lash存儲介質(zhì)作為2級I/O緩存
- 持標準SQL
- 提供通用API： JDBC， ODBC，CAPI，ADO.Net
產(chǎn)品FAQ
-
Q：GBase 8a能干什么？A：GBase 8a能夠?qū)崿F(xiàn)大數(shù)據(jù)的全數(shù)據(jù)（結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)）存儲管理和高效分析，為行業(yè)大數(shù)據(jù)應(yīng)用提供完整的數(shù)據(jù)庫解決方案。
-
Q：GBase 8a的水平如何？A：GBase 8a能夠在百TB至PB級數(shù)據(jù)規(guī)模下實現(xiàn)數(shù)據(jù)查詢的秒級響應(yīng)；能夠幫助客戶節(jié)省50%-90%存儲空間；能夠為客戶節(jié)省50%-90%的投資和運維成本；能夠?qū)Y(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行統(tǒng)一處理；能夠?qū)崿F(xiàn)千億級文本條目全文檢索的秒級響應(yīng)；能夠提供全過程可視化的數(shù)據(jù)查詢分析及展現(xiàn)工具。
-
Q：GBase 8a目前有什么成功案例？A：GBase 8a已經(jīng)在電信、金融和政務(wù)等領(lǐng)域取得規(guī)?；袌鰬?yīng)用，主要包括中國移動、中國聯(lián)通、中國電信、銀監(jiān)會、公安部、安全部、工信部、國稅總局、國家海洋局、中國石油等。
-
Q：GBase 8a在項目中的測試情況如何？A：參加了150多次用戶現(xiàn)場測試：中國移動集團下一代數(shù)據(jù)倉庫選型測試前三名，是唯一入圍的國產(chǎn)產(chǎn)品；在公安部、招商銀行、新疆移動、吉林移動、中興通訊、用友軟件等單位的項目測試中取得了優(yōu)異的成績，獲得用戶的一致好評。
商業(yè)價值
GBase 8a MPP Cluster是國內(nèi)首款支持融合數(shù)據(jù)處理的分布式關(guān)系型數(shù)據(jù)庫集群產(chǎn)品。與國外主流的大數(shù)據(jù)廠商EMC、HP、IBM等，在金融、電信等領(lǐng)域同臺競技，技術(shù)實力相當，形成集群雙活、大規(guī)模集群管理、虛擬集群等特有技術(shù)，實現(xiàn)部分特性國際領(lǐng)先優(yōu)勢，已經(jīng)在人民銀行、銀監(jiān)會、證監(jiān)會、農(nóng)總行、中行、工行、招行、中移動、中聯(lián)通、中電信、海關(guān)總署、國防某部等幾十個行業(yè)數(shù)百家用戶形成規(guī)?；瘧?yīng)用，總計上線超過10000節(jié)點，管理數(shù)據(jù)超過200PB。
在不斷的市場實踐和用戶反饋中，GBase 8a體現(xiàn)出8個價值，可分為兩級：一級價值包括提速、省盤、省錢、成云等核心優(yōu)勢和直接為客戶帶來的效益，二級價值包括全文、轉(zhuǎn)非、全數(shù)據(jù)、可視化等產(chǎn)品的創(chuàng)新功能帶來的價值。另外，作為國產(chǎn)數(shù)據(jù)庫，GBase 8a與國外同類產(chǎn)品相比，具有非常明顯的本地服務(wù)優(yōu)勢。
一級價值
- 提速：查詢分析類性能提升10-100倍
- 省盤：存儲空間節(jié)省50%-90%
- 省錢：軟硬件投資節(jié)省50-90%，節(jié)電30%-50%
- 成云：支持云計算架構(gòu)，橫向擴展能力
二級價值
- 全文：集成全文檢索，管理半結(jié)構(gòu)化數(shù)據(jù)（云文件）
- 轉(zhuǎn)非：非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化提取和轉(zhuǎn)化
- 全數(shù)據(jù)：統(tǒng)一處理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)
- 可視化：支持GBase BI可視化數(shù)據(jù)分析平臺
核心優(yōu)勢
GBase 8a MPP Cluster具有聯(lián)邦構(gòu)架、海量數(shù)據(jù)分布式、高效壓縮、高效存儲結(jié)構(gòu)、智能索引、靈活的數(shù)據(jù)分布、在線高性能擴展、高并發(fā)、高可用、高安全性、易維護、高效加載等核心優(yōu)勢，具體如下：
- 聯(lián)邦架構(gòu)集群部署：基于列存儲的完全并行的MPP + Shared Nothing的聯(lián)邦架構(gòu)，采用多活Coordinator（Master）節(jié)點、數(shù)據(jù)節(jié)點的兩級部署結(jié)構(gòu)，避免了單點性能瓶頸和單點故障，對外提供單一的訪問地址。Coordinator節(jié)點支持最多部署64個；數(shù)據(jù)節(jié)點支持部署300個以上，單數(shù)據(jù)節(jié)點可支持50TB以上裸數(shù)據(jù)數(shù)據(jù)量，且所有節(jié)點無共享，具有對等計算能力；
- 海量數(shù)據(jù)分布式壓縮存儲：集群支持海量數(shù)據(jù)存儲、查詢，支持15PB以上的結(jié)構(gòu)化數(shù)據(jù)，采用HASH或RANDOM分布策略進行數(shù)據(jù)分布式存儲；同時采用先進的壓縮算法，減少存儲數(shù)據(jù)所需的空間，并相應(yīng)地提高I/O性能；支持實例級、表級、列級三級壓縮；支持基于列存儲的數(shù)據(jù)編碼及高效壓縮技術(shù)；理想情況下，壓縮比可達1:20以上；
- 高效存儲結(jié)構(gòu)：采用基于列存儲、適合分析優(yōu)化的存儲結(jié)構(gòu)；采用免維護的智能索引；支持行列混合存儲的存儲結(jié)構(gòu)，有效提高列存數(shù)據(jù)庫在SELECT * 場景下的查詢性能；
- 智能索引：采用高性能、免維護的粗粒度智能索引技術(shù)，索引建立膨脹率不超過百分之一。智能索引包含基于列的統(tǒng)計信息，在數(shù)據(jù)檢索定位時可被直接使用，有效過濾數(shù)據(jù)，大幅降低數(shù)據(jù)庫磁盤I/O，大幅提高海量數(shù)據(jù)的查詢性能；
- 靈活的數(shù)據(jù)分布：用戶可以按照業(yè)務(wù)場景的需求，自定義數(shù)據(jù)分布策略，從而在性能、可靠性和靈活性間獲得最佳匹配。數(shù)據(jù)分布策略包括HASH分布和RANDOM分布；
- 在線高性能擴展：支持集群節(jié)點的在線擴容和縮容，效率更高，對業(yè)務(wù)的影響更??；在線擴展性能大于20TB/小時；
- 高并發(fā)：讀寫不互斥，支持數(shù)據(jù)的邊加載邊查詢，3節(jié)點集群并發(fā)能力大于1000；
- 數(shù)據(jù)高可用：通過冗余機制來保證集群的高可用特性，互備分片間可實現(xiàn)數(shù)據(jù)自動同步。數(shù)據(jù)通過副本提供冗余保護，數(shù)據(jù)的副本機制支持1或2個數(shù)據(jù)副本，支持用戶自定義的數(shù)據(jù)副本分布方式；自動故障探測和管理，自動同步元數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，副本故障不影響集群的可用性，支持故障的自動恢復，無需人工干預；
- 完善的資源管理：通過資源池及資源使用計劃的靈活配置，能夠?qū)崿F(xiàn)不同數(shù)據(jù)庫用戶的資源隔離，支持對 CPU、內(nèi)存、磁盤空間、磁盤 IO、并發(fā)任務(wù)數(shù)等關(guān)鍵資源和指標進行管控，能夠提供完善的多租戶能力。
- 主備集群高可用：集群支持主備集群高可用模式；支持數(shù)據(jù)全量、增量同步；支持主備同步回滾機制；支持主備同步錯誤恢復機制；支持同城災備；
- 安全性：提供完善的用戶、角色、權(quán)限控制策略，提高數(shù)據(jù)庫集群的安全性；支持詳盡的審計日志，可配置靈活的審計策略，記錄數(shù)據(jù)庫中與數(shù)據(jù)庫操作相關(guān)的所有日志，也可以通過圖形化的監(jiān)視工具實現(xiàn)審計管理；支持透明的數(shù)據(jù)加密：支持數(shù)據(jù)存儲加密，支持數(shù)據(jù)庫密碼加密，支持數(shù)據(jù)加密壓縮；支持相關(guān)加密函數(shù)，如AES_ENCRYPT()、ENCRYPT()、MD5()、SHA1()、SHA()等；支持庫內(nèi)數(shù)據(jù)脫敏；支持Kerberos認證方式訪問集群和外部數(shù)據(jù)源；
- 易維護：提供圖形化管理及監(jiān)控工具，以簡化管理員對數(shù)據(jù)庫的管理工作；
- 數(shù)據(jù)加載高效性：具備數(shù)據(jù)庫并行加載能力，加載速度隨節(jié)點增加線性增加，基于策略的數(shù)據(jù)加載模式，集群整體加載速度大于30TB/h；
- 自適應(yīng)負載：支持通過自適應(yīng)負載特性允許用戶執(zhí)行任意并發(fā)數(shù)量的作業(yè)，數(shù)據(jù)庫系統(tǒng)根據(jù)負載情況，自動決定可允許執(zhí)行作業(yè)的數(shù)量，實現(xiàn)參數(shù)免調(diào)優(yōu)；
- Hadoop備份/恢復：支持與Hadoop之間進行數(shù)據(jù)備份/恢復，將庫內(nèi)數(shù)據(jù)備份到Hadoop中，或?qū)adoop內(nèi)的數(shù)據(jù)文件恢復到庫內(nèi)；Hadoop備份/恢復性能大于100TB/h；
- 標準化：支持SQL 92、SQL 99、SQL 2003 ANSI/ISO 標準，支持ODBC、JDBC、ADO.NET、OLEDB等接口規(guī)范；支持C API、Python API、TCL API等接口；支持SQL 2003 OLAP函數(shù)。
技術(shù)特性
南大通用自主研發(fā)的GBase 8a MPP Cluster是大數(shù)據(jù)時代成熟的分析型 MPP 數(shù)據(jù)庫。具有聯(lián)邦構(gòu)架、海量數(shù)據(jù)分布式、高效壓縮、高效存儲結(jié)構(gòu)、智能索引、靈活的數(shù)據(jù)分布、在線高性能擴展、高并發(fā)、高可用、高安全性、易維護、高效加載等核心優(yōu)勢，具體如下：
- 適配平臺：支持金蝶、東方通等主流中間件；支持曙光、浪潮、華三、長城、聯(lián)想等主流國產(chǎn)服務(wù)器；支持海光、鯤鵬、飛騰、申威、龍芯、兆芯等主流的國產(chǎn)處理器；支持中標麒麟、銀河麒麟、中科方德、統(tǒng)信等主流的國產(chǎn)操作系統(tǒng)。
- 編碼格式：支持多種編碼格式，如UTF-8、UTF8-MB4、GBK 、GB18030、Unicode編碼格式，支持多語種。
- 海量數(shù)據(jù)高效存儲：單個集群可處理15PB以上的結(jié)構(gòu)化數(shù)據(jù)，采用HASH或RANDOM分布策略進行數(shù)據(jù)分布式存儲；單數(shù)據(jù)節(jié)點可處理50TB以上裸數(shù)據(jù)數(shù)據(jù)量，且所有節(jié)點無共享，具有對等計算能力；同時單表支持247（萬億級）行級數(shù)據(jù)量。
- 大規(guī)模并行計算：針對數(shù)據(jù)加載和數(shù)據(jù)查詢實現(xiàn)了自動高效的并行處理技術(shù)，充分利用SMP多核CPU資源并行處理海量數(shù)據(jù)。利用單節(jié)點并行技術(shù)，結(jié)合MPP集群跨節(jié)點并行，對算子進行分布式并行計算處理，可實現(xiàn)數(shù)據(jù)查詢分析的超大規(guī)模分布式并行處理和多數(shù)據(jù)源并行加載。
- 數(shù)據(jù)高可用：通過冗余機制來保證集群的高可用特性，互備分片間可實現(xiàn)數(shù)據(jù)自動同步。體現(xiàn)了集群環(huán)境中節(jié)點內(nèi)及跨節(jié)點的并行處理能力。
- Hash索引：利用Hash索引提高等值查詢的定位效率，針對集群內(nèi)單表精確查詢可實現(xiàn)秒級查詢響應(yīng)。
- 智能索引：采用高性能、免維護的粗粒度智能索引技術(shù)，索引建立膨脹率不超過百分之一。智能索引包含基于列的統(tǒng)計信息，在數(shù)據(jù)檢索定位時可被直接使用，有效過濾數(shù)據(jù)，大幅降低數(shù)據(jù)庫磁盤I/O，大幅提高海量數(shù)據(jù)的查詢性能；在億級數(shù)據(jù)規(guī)模下，可達到集群單節(jié)點單表基于時間列精確查詢秒級響應(yīng)能力。
- 備份恢復管理：提供專用的備份恢復工具，支持物理備份恢復（完全、增量、差異）和邏輯備份恢復（實例級、用戶級、表級），方便用戶在不同應(yīng)用場景下自主選擇備份恢復策略。
- 數(shù)據(jù)加密：具備透明的數(shù)據(jù)加密功能，數(shù)據(jù)加密實現(xiàn)表級或者列級不同粒度的加密要求，支持數(shù)據(jù)存儲加密，支持數(shù)據(jù)庫密碼加密，支持數(shù)據(jù)加密壓縮；支持相關(guān)加密函數(shù)，如AES_ENCRYPT()、ENCRYPT()、MD5()、SHA1()、SHA()等；支持備份軟件進行備份文件加密。
- 核心進程級別高可用技術(shù)：GNode，GCluster，GCware 等核心進程被實時監(jiān)控，出故障后可及時恢復。具備完善的數(shù)據(jù)庫物理恢復功能，支持系統(tǒng)故障恢復、完全介質(zhì)故障恢復、網(wǎng)絡(luò)故障恢復、基于表空間/文件組的介質(zhì)故障的數(shù)據(jù)庫物理恢復功能；具有完全恢復模式和指定時間點恢復模式，可將數(shù)據(jù)恢復到崩潰時間點數(shù)據(jù)或指定時間點數(shù)據(jù)。
適用場景
GBase 8a是面向大數(shù)據(jù)分析類應(yīng)用領(lǐng)域的一款高性能國產(chǎn)新型數(shù)據(jù)庫產(chǎn)品，用于滿足數(shù)據(jù)密集型行業(yè)日益增大的數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析、數(shù)據(jù)挖掘和數(shù)據(jù)備份等需求，可用做數(shù)據(jù)倉庫系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)的承載數(shù)據(jù)庫。
