近日，嘉銀金科自主研發(fā)的數據集成平臺發(fā)布，基于分布式計算框架，利用并行化處理技術，實現了海量、實時數據遷移，最大化釋放數據價值。在海量數據、復雜網絡環(huán)境、復雜業(yè)務背景和高時效性數據要求的場景下，嘉銀金科數據集成平臺提供了數據同步方案，實現了數據高速穩(wěn)定的傳輸與遷移。依托強大的數據處理能力和技術水平，嘉銀金科數據集成平臺有效提升數據使用效率，賦能業(yè)務全流程，為企業(yè)運營“降本增效”。

在企業(yè)運營中，由于碎片化的數據留存在業(yè)務各個異構的數據系統(tǒng)中，這些數據系統(tǒng)可能是幾十個甚至上百個應用程序、數據庫和業(yè)務系統(tǒng)。各個系統(tǒng)如同一個個小倉庫，承載著不同類型的數據，對應著不同的存儲方式，于是就出現了數據孤島現象。而企業(yè)中不同業(yè)務部門獨立運作，導致越來越多的跨多系統(tǒng)的數據分析訴求和業(yè)務場景出現，促使數據集成產品的出現。

數據集成平臺采用分布式集群化部署方式和高效的并行計算框架，最大化利用企業(yè)現有信息系統(tǒng)的建設成果，在保證現有數據安全性的基礎上，將數據進行整合及標準化，通過為用戶提供實時同步、離線抽數、告警通知、監(jiān)控大盤等全方位的產品服務，來保證數據流轉穩(wěn)定高效，方便用戶最大化挖掘和探索數據價值。數據集成是數據同步平臺，其目標是保證數據在不同數據源之間被高效準確地遷移。異構的數據源可以通過統(tǒng)一的數據集成平臺來將異構網絡的數據統(tǒng)一抽取到數據倉庫平臺，在數據倉庫平臺中完成數據匯聚，進行進一步的數據分析。分析后的結果數據仍可以通過數據集成回流到在線數據庫，為在線業(yè)務、在線應用提供數據查詢。數據集成在整個數據倉庫開發(fā)建設過程中起到了非常關鍵的作用，只有通過數據集成將異構數據源統(tǒng)一匯總到數據倉庫中，才有后序的數據分析、數據服務、數據應用等。

嘉銀金科自研數據集成平臺可支持離線集成和實時集成，對應兩種不同的數據同步方式：離線集成主要針對數據時效要求低、吞吐量大的場景，解決大規(guī)模歷史數據的批量遷移問題;實時集成針對數據時效性要求高的場景，其將源端數據的變化實時同步到目標端數據源中，保證源端數據與目標端數據實時保持一致，就可滿足業(yè)務實時查詢分析使用數據或實時計算等需求。在實際業(yè)務場景中，離線集成和實時集成搭配使用，為保證已有的數據表在目標端數據源中可用，使用離線集成將該表的歷史數據全量同步到目標端數據源中，對于增量數據則通過實時集成來增量同步。

數據集成平臺最關鍵的目標是，在進行異構數據源之間數據遷移時，保證遷移任務被高效完成，被遷入目標端數據源的數據是準確可靠的、實時的，數據傳輸過程是安全的。嘉銀金科數據集成產品具有獨到優(yōu)勢：

(1)離線/實時一體化

嘉銀金科數據集成平臺支持離線集成和實時集成同步方案，為實際業(yè)務中海量數據遷移需求，提供了穩(wěn)定、高效、快速的數據遷移方式。

(2)自動校驗功能

嘉銀金科數據集成平臺已實現自動校驗功能和補數機制，實時集成產品已打通從源端到目標端的實時數據同步，并自動校驗源端和目標端數據量的一致性，校驗不通過時觸發(fā)補數機制，有效的保證了數據的可靠性、準確性。

(3)分布式架構和任務拆分

分布式架構既支持全量數據遷移，也支持增量數據同步，幫助用戶更好的管理各類數據信息，保證數據被高效地遷移。

嘉銀金科數據集成平臺是大數據平臺上下云的核心樞紐，實現數據自由離線或實時的流動。通過數據流通，數據資源流向企業(yè)最需要的領域和方向，在生產經營中產生效益，才能最大化地發(fā)揮數據價值。

嘉銀金科始終注重科技研發(fā)和人才培養(yǎng)，成立十多年來，不斷精研技術，培養(yǎng)了一支強大的技術團隊，形成了自主創(chuàng)新能力。在大數據領域，嘉銀金科技術團隊依托業(yè)務積累和創(chuàng)新實踐，不斷輸出技術成果，并根據實際業(yè)務需求不斷迭代更新產品，真正做到為業(yè)務高效運營賦能。在數據治理方面，嘉銀金科“大禹”數據資產管理平臺實現對數據全生命周期一站式治理和運營;在數據流通方面，嘉銀金科數據集成平臺保證了數據高效、準確、實時遷移。此外，嘉銀金科還在數據分析、數據可視化、實時計算、數據建模等方面持續(xù)探索，將數據效能發(fā)揮到最大化，致力于為業(yè)務賦能，助力行業(yè)打破數據孤島。