|
|

數據整合韌性
(Data Integration Resilience)之探討

Trinity 數據整合研究室

數據韌性(Data Resilience)概述

近年數據韌性(Data Resilience)觀念被提出來,作為 IT 界新名詞,似乎沒有一個明確的定義。基本上,「韌性」指的是在系統承受各種擾動後回復運作的能力;韌性愈高,系統愈穩定。

以國家層面而言,數位發展部的定義是:透過數位工具,讓台灣在遇到各種不利情況時,不但能撐得住,還能從打擊中迅速恢復,並從中學習、強化自身體質。在企業營運層面,企業韌性是企業治理 ESG 的一環,業界廠商就其專業各抒己見,紛紛提出諸如供應鏈韌性、資安韌性與資料韌性等面向與解決方案;因此要提升組織韌性,往往需搭配相應的數位轉型。

數據整合韌性(Data Integration Resilience)

身為國內數據整合領域的領導廠商,我們就企業數據整合層面,也提出自己的思考。企業在資料處理的業務上,面臨諸多挑戰,例如整合困難、維運成本高昂與人員異動產生風險等,這些都直接、間接影響資料品質與完整。因此,數據整合韌性須達到「在數據整合過程中,確保數據能夠在面對各種挑戰和變化時保持其完整性、可用性和可靠性的能力。」

企業/組織中的數據整合機制能否發揮強大韌性的評估,大致在兩個重點:
  • 面對規格異動/新需求的工時效率要求
    當數據規格異動或新需求時,如何能高效完成其上下游相關的所有修正而不遺漏,從而保障整體數據之正確與完整。強大韌性是基於能快速清點出會被影響的資料欄位以及相關程式或作業,避免未能全面修改而在數據異動後造成部分落差或錯誤的風險。清點工作應由系統提供快速且容易執行的方式,避免耗費大量的人工作業而影響執行效率。
     
  • 面對系統異常時的及時恢復能力
    在系統故障或甚至面臨到天災時,如何能夠及時恢復數據整合機制的運行也是評估是否具有強大韌性的一項重點。這其中系統監控與異常排查能力至關重要,容易操作的監控介面與系統部署功能能夠節省維持系統正確執行的維運人力投入,這也是容易被忽視的費用。
     
     

數據整合韌性的挑戰

由上述兩點,可知人工作業在數據整合韌性的營運中占有重要角色。這無可避免地引起了人員異動產生的風險,通常源自於以自行開發程式用在數據整合流程作業中。其原因分析如下:
  • 各人程式寫法風格不同,程式中的數據處理邏輯在一段時間後,經常導致無完善文檔能讓新進交接人員迅速熟悉數據整合系統和流程。
  • 數據整合處理程式需要讀取數據與更新權限,數據庫密碼無法有效管理權限,形成資安漏洞。
  • 分散或疊床架屋的程式難以提供完整的數據整合上下游關係,在數據格式變更時無法提供有效的溝通機制,確保異動信息及時溝通給相關人員。
     
從而造成如下風險:
  • 知識流失:當有關鍵人員離職或調職時,可能會導致關於數據整合流程、系統配置和操作方法的知識流失。
  • 操作失誤:新進人員可能需要一段時間才能熟悉數據整合系統和流程,這可能會增加操作失誤的風險,例如誤刪數據、配置錯誤等。
  • 安全風險:異動可能會導致對數據整合系統和數據庫的訪問權限分配錯誤,或者未及時撤銷前員工的訪問權限,這可能會導致安全風險,例如數據洩露或未授權訪問。
  • 溝通不當:異動可能會導致溝通不當,例如未能及時通知相關人員有關人員異動的信息,這可能會導致信息交流不暢,影響數據整合的進行和溝通。
要解決這些問題並排除上述風險,導入平台工具是必要方案,這也是本文篇首所言之「數位轉型」措施。

導入 Trinity 提升企業數據整合韌性

Trinity 提供企業一個包括 Batch Processing 與 Stream Processing 的全面數據整合解決方案,除了 Trinity ETL 與 Trinity SDM 支持數據整合維運外,還有企業資料治理 Trinity Metaman 軟體套件。

Trinity Metaman 提供了完善的資料血緣與異動分析、數據剖析與數據質量管理管理,這些功能保障系統運作中,數據的完整性、可用性和可靠性。

Trinity ETL / Trinity SDM 與 Metaman 的無縫整合,讓資料血緣由數據源貫穿 ETL 流程,一條龍完整呈現。再結合本公司的彈性客製化與在地服務,因此 Trinity 平台是企業數據整合韌性的最佳方案!