本公司於本月推出 Trinity 新版 3.7,新增對 Big Data 的支援
隨著各式商業服務的 Web 化及行動化,不只網站業者,一般企業的 Unstructured Data 也正快速累積。這些日益增大的資料若需進行儲存與分析,已經無法使用傳統資料庫的架構來有效解決;因此Big Data的浪潮正襲向商業智慧產業,成為當今顯學。針對前述的需求,本公司研發主管謝鎮澤先生表示:
「事實上 Big Data 的內涵並非只是資料量而已,其本質包含 3 個 V:
「事實上 Big Data 的內涵並非只是資料量而已,其本質包含 3 個 V:
- 大小(Volume)–資料量的大小動輒以 Terabyte 計。
- 速度(Velocity)–從批次、即時到串流,線上廣告要在 40 毫秒內決定回應內容,而授信系統必須在 1 毫秒裡面完成客戶信評的計算。
- 多樣性(Variety)–資料的樣式包括結構化、非結構化以及半結構化,以及以上各種型式的組合。
我們定位為資料管理最佳幫手的產品 Trinity,於新版本 3.7 版緊隨業界趨勢,發表 Big Data 的介接及處理功能,以協助客戶因應資料屬性多元化、資料量與處理效能需求所帶來的挑戰,充分發揮 Big Data 於企業的價值。」
目前 Big Data 解決方案最成熟的技術為 Hadoop,但其架構在應用與維護上存在特定的技術難度。本公司技術總監吳承諭先生表示:「雖然 Hadoop 最大的強項是資料的平行處理能力,但資料必須先載入至 Hadoop 環境中才能進行處理。如何有效的在傳統分析資料庫系統與 Hadoop 架構間進行資料交換與處理,則是一大挑戰。本公司透過 Trinity 獨特的組件擴充架構,開發出 BigData Adaptor,無縫地將 Hadoop 大數據的處理能力與傳統 ETL 作業融合在一起。使用者無需具備 Hadoop高深的管理技術,即能在現有 ETL 系統上輕鬆加入對 Hadoop 相關應用的處理能力;可保障既有系統的投資又同時能夠使用到 Hadoop 所帶來對大數據強大的處理能力。」
除了上述作為傳統 ETL 作業與 Hadoop 架構間的資料交換橋樑外,Trinity 的 Hadoop Data Adaptor 模組尚提供下列功能:
目前 Big Data 解決方案最成熟的技術為 Hadoop,但其架構在應用與維護上存在特定的技術難度。本公司技術總監吳承諭先生表示:「雖然 Hadoop 最大的強項是資料的平行處理能力,但資料必須先載入至 Hadoop 環境中才能進行處理。如何有效的在傳統分析資料庫系統與 Hadoop 架構間進行資料交換與處理,則是一大挑戰。本公司透過 Trinity 獨特的組件擴充架構,開發出 BigData Adaptor,無縫地將 Hadoop 大數據的處理能力與傳統 ETL 作業融合在一起。使用者無需具備 Hadoop高深的管理技術,即能在現有 ETL 系統上輕鬆加入對 Hadoop 相關應用的處理能力;可保障既有系統的投資又同時能夠使用到 Hadoop 所帶來對大數據強大的處理能力。」
除了上述作為傳統 ETL 作業與 Hadoop 架構間的資料交換橋樑外,Trinity 的 Hadoop Data Adaptor 模組尚提供下列功能:
- 簡化對 HDFS 資料讀寫操作。提供 HDFS Reader/Writer 組件,直接對 HDFS 的檔案進行讀寫動作。
- 整合 HBase 資料庫。提供 HBase Reader/Writer 組件,直接對 HBase 資料庫進行讀寫動作。
- Hive 與 Pig 的整合。提供 Hive 與 Pig 語言的執行組件。