逐漸增多的聯(lián)網(wǎng)設(shè)備設(shè)施，如果不對其產(chǎn)生的海量數(shù)據(jù)進行治理或分析，僅僅對單獨某個企業(yè)個體而言，或許都將釀造一場數(shù)據(jù)災難。

反之，擅用數(shù)據(jù)治理并擁有大數(shù)據(jù)能力的企業(yè)，他們的財務(wù)表現(xiàn)、做出決策的速度和正確性，都將遠遠超過競爭對手。

近年工信部密集發(fā)布《工業(yè)數(shù)據(jù)分類分級指南（試行）》、《關(guān)于工業(yè)大數(shù)據(jù)發(fā)展的指導意見》、《關(guān)于組織開展2021年大數(shù)據(jù)產(chǎn)業(yè)發(fā)展試點示范項目申報工作的通知》等政策通知，旨在提升企業(yè)數(shù)據(jù)治理能力，打造應用繁榮、產(chǎn)業(yè)進步的大數(shù)據(jù)生態(tài)體系。

企業(yè)們在從傳統(tǒng)模式轉(zhuǎn)變到數(shù)字化模式一段時間以后，也開始從底層資源需求進階到數(shù)據(jù)層需求，他們希望把獲取到的數(shù)據(jù)盤活，對數(shù)據(jù)價值進行利用，甚至創(chuàng)造新的業(yè)務(wù)模式。

數(shù)據(jù)治理的戰(zhàn)略地位得到提升。根據(jù)賽迪顧問預測，2023年我國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將超過萬億元，2027年將達到1.8萬億。大數(shù)據(jù)產(chǎn)業(yè)鏈組成豐富，政府機構(gòu)、技術(shù)和產(chǎn)品服務(wù)商、場景運營方陸續(xù)加入玩家陣營。

大數(shù)據(jù)產(chǎn)業(yè)鏈，來源：前瞻產(chǎn)業(yè)研究院

從2014年發(fā)布第一款數(shù)據(jù)產(chǎn)品開始，青云便緊跟行業(yè)趨勢和客戶需求，配備近百人的研發(fā)團隊，持續(xù)推出了近30款數(shù)據(jù)產(chǎn)品和服務(wù)，涵蓋數(shù)據(jù)庫與緩存、消息隊列與中間件、對象存儲、大數(shù)據(jù)服務(wù)、數(shù)據(jù)倉庫和BI，為百行千業(yè)的客戶提供優(yōu)質(zhì)服務(wù)。

近日，青云正式發(fā)布“大數(shù)據(jù)工作臺”產(chǎn)品，目標在于幫助企業(yè)打通大數(shù)據(jù)全鏈路，從海量數(shù)據(jù)中提煉出最有價值的信息和知識，輔助業(yè)務(wù)決策和創(chuàng)新。在物聯(lián)傳媒記者向青云QingCloud大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風的提問溝通中，我們進一步看懂了關(guān)于大數(shù)據(jù)的趨勢，以及青云大數(shù)據(jù)工作臺發(fā)布的意義所在。

一個工廠一天產(chǎn)生2.6億條數(shù)據(jù)

互聯(lián)網(wǎng)時代，大數(shù)據(jù)分析最常見的用途是了解用戶的使用習慣、消費偏好、行為特征等，從而做出個性化推薦。并且互聯(lián)網(wǎng)大數(shù)據(jù)對時效沒有太高要求，主要是從長期積累中找出關(guān)聯(lián)性。

物聯(lián)網(wǎng)應用與此不同。數(shù)據(jù)集成、實時計算分析、統(tǒng)一監(jiān)控和調(diào)度是普遍需求，數(shù)據(jù)越完整、越全面、反饋實時性越高，企業(yè)降本增效的效果就越好。

但物聯(lián)網(wǎng)數(shù)據(jù)治理并非易事。

某中國環(huán)保行業(yè)的領(lǐng)導者，旗下每個工廠分別部署3000多個數(shù)據(jù)采集點，每個工廠每秒傳送數(shù)據(jù)0.5MB，每天傳送數(shù)據(jù)大小為38GB，數(shù)據(jù)量為2.6億條。將情況復制到集團21個工廠，一天的數(shù)據(jù)量達到54億條、798GB，保留6個月的數(shù)據(jù)總量將高達9720億條、140TB。

數(shù)據(jù)量大不是唯一特點，很多場景下的數(shù)據(jù)源更顯多樣化。

某行業(yè)領(lǐng)先的工業(yè)自動化測試設(shè)備與整線系統(tǒng)解決方案商，其數(shù)據(jù)源涵蓋生產(chǎn)相關(guān)設(shè)備，如機加工設(shè)備、SMT設(shè)備、AGV、立庫、質(zhì)檢等相關(guān)設(shè)備，以及生產(chǎn)外運營相關(guān)的IoT設(shè)備，如水電氣、空調(diào)暖通、給排水、道閘門禁、溫濕度傳感器終端等，具有非常強的多樣性。

再加上各類設(shè)備數(shù)據(jù)的采集頻次、數(shù)據(jù)留存時間各不相同，需要應用不同的采集策略。

另外在工業(yè)、能源等諸多對安全、保密性有要求的場景，其網(wǎng)絡(luò)環(huán)境屬于高度隔離狀態(tài)，數(shù)據(jù)采集點位于企業(yè)工控網(wǎng)，不允許外部訪問，這將為數(shù)據(jù)治理帶來新的難度。

總而言之，數(shù)據(jù)治理值得被重視，且相比于安排專門崗位來計算日常的數(shù)據(jù)產(chǎn)出、支付這項額外的人力成本，仍然可以將精力專注在核心業(yè)務(wù)開發(fā)上。

按照青云的介紹，一般客戶數(shù)據(jù)量達到GB級別，就具備了使用大數(shù)據(jù)工作臺的條件。對于客戶關(guān)注的成本問題，青云大數(shù)據(jù)工作臺在復雜場景下，每CU（Computing Unit，1CU含計算資源：1核CPU，4GB內(nèi)存）每秒可以處理3000條至1.5萬條數(shù)據(jù)，每CU計費模式為0.4元/小時，并且目前青云大數(shù)據(jù)工作臺產(chǎn)品處于公測階段，支持免費開放使用。

客戶厭煩具有“割裂感”的產(chǎn)品

站在客戶的角度，大數(shù)據(jù)的價值不是數(shù)據(jù)本身，而是背后隱藏的對業(yè)務(wù)有影響的信息和知識。大數(shù)據(jù)產(chǎn)品的內(nèi)涵也不在簡單堆疊Hadoop、Spark和Flink等產(chǎn)品組件，客戶更加希望有獨立的實時計算平臺，且平臺能帶來良好的使用體驗。

基于這一點，青云在提供大數(shù)據(jù)工作臺產(chǎn)品的基礎(chǔ)上，將其與KubeSphere容器平臺和IoT平臺形成合力，充分發(fā)揮各自優(yōu)勢，組建了完善的“大數(shù)據(jù)工作臺+KubeSphere+IoT”三位一體解決方案。

青云大數(shù)據(jù)工作臺+KubeSphere 容器平臺+IoT 平臺“三位一體”解決方案

方案架構(gòu)上，最上層是物聯(lián)網(wǎng)平臺，中間是大數(shù)據(jù)平臺，最底層是容器平臺。

在容器平臺層，提供按需使用、彈性伸縮、一鍵擴容、在線運維的功能保障。

在大數(shù)據(jù)平臺層，結(jié)合消息中間件、數(shù)據(jù)倉庫、數(shù)據(jù)服務(wù)等云原生產(chǎn)品組件，從橫向數(shù)據(jù)流方面提供一站式的數(shù)據(jù)實時處理和輸出能力；

在物聯(lián)網(wǎng)平臺層，形成“云、網(wǎng)、邊、端”統(tǒng)一管理、統(tǒng)一數(shù)據(jù)采集和統(tǒng)一邊緣控制。

這再次證明青云大數(shù)據(jù)工作臺出于打通大數(shù)據(jù)全鏈路的初衷而建立，在整合大數(shù)據(jù)相關(guān)產(chǎn)品及服務(wù)后，為客戶提供一站式智能大數(shù)據(jù)開發(fā)與治理平臺，并具有6點突出特性：

第一，開箱即用。公有云環(huán)境下幾分鐘即可完成環(huán)境的創(chuàng)建和部署，即開即用、便捷高效。在私有云的部署一般是半天或一天時間完成，且仍在進行一鍵部署的優(yōu)化。

第二，彈性擴容。具備云原生彈性擴容的能力，可以幫助客戶合理地節(jié)省資源，提高資源的使用率。通過提供細粒度管控，最小資源使用的粒度只需要0.5CU，支持按量、包年包月計費，可以更好地適配不同的需求，價格低廉，安全穩(wěn)定。

第三，存算分離。與青云的對象存儲服務(wù)無縫銜接，海量數(shù)據(jù)可以高效、低成本的存儲。同時支持數(shù)據(jù)計算按需擴容，極具性價比。

第四，開放兼容。擁抱開源，百分百兼容Apache Flink，支持平滑上云，通過內(nèi)嵌的Connector可以無縫對接主流的數(shù)據(jù)產(chǎn)品和開源大數(shù)據(jù)生態(tài)組件。同時，客戶可以將原有的大數(shù)據(jù)任務(wù)遷移到青云大數(shù)據(jù)工作臺上，進行統(tǒng)一的調(diào)度和監(jiān)控，節(jié)省運維和調(diào)度成本。

第五，安全可靠。按照云原生的架構(gòu)模式進行設(shè)計，可以基于多種基礎(chǔ)設(shè)施進行部署。內(nèi)部按照功能模塊以微服務(wù)的方式劃分為多個組件，彼此之間相互隔離，避免相互影響。同時，所有的服務(wù)都具備高可用和高擴展能力，可以在部分節(jié)點故障的情況下，保障服務(wù)的可用性和數(shù)據(jù)的可靠性。

第六，生態(tài)整合。除了青云大數(shù)據(jù)工作臺本身提供的服務(wù)外，還可以在云上與其他產(chǎn)品緊密整合，可以連通云平臺上孤立的多種數(shù)據(jù)存儲的服務(wù)，讓客戶在云平臺上的數(shù)據(jù)流轉(zhuǎn)更加便捷。

目前上線的青云大數(shù)據(jù)工作臺1.0版本，主要滿足數(shù)據(jù)存儲、數(shù)據(jù)加工、統(tǒng)一存儲和服務(wù)功能，下一階段將在數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)、優(yōu)化體驗等方面滿足更高級別需求。

沒有歷史包袱非常關(guān)鍵，專注滿足業(yè)務(wù)訴求

青云此次推出大數(shù)據(jù)工作臺的時間不算早，市面上互聯(lián)網(wǎng)背景的公有云廠商及通用大數(shù)據(jù)公司都已在開拓該市場，他們產(chǎn)品的特點大致如下所示：

而從此次青云發(fā)布的大數(shù)據(jù)工作臺來看：

與互聯(lián)網(wǎng)背景的公有云廠商相比，青云大數(shù)據(jù)工作臺基于云原生架構(gòu)，可以部署在開源的Kubernetes容器平臺上，也能部署在其他云原生產(chǎn)品上，這對客戶來說更加開放和包容，避免了被云廠商綁定。

同時，青云大數(shù)據(jù)工作臺的界面及功能上沒有歷史包袱，包括支持提供流批一體的Flink引擎，使客戶能更輕松完成對計算集群的創(chuàng)建、管理和銷毀，讓客戶將精力更聚焦在業(yè)務(wù)計算本身。

另與市面上的通用大數(shù)據(jù)公司相比，青云大數(shù)據(jù)平臺產(chǎn)品可依托云計算屬性，提供快速反饋和更新的能力，并且支持彈性計費和靈活擴容。

同時，相較于目前主流的企業(yè)數(shù)據(jù)中臺，青云大數(shù)據(jù)大數(shù)據(jù)工作臺沒有基于傳統(tǒng)的Hadoop體系的YARN來做資源調(diào)度，而是基于Kubernetes做資源調(diào)度，聚焦于數(shù)據(jù)使用場景下，解決數(shù)據(jù)集成、流批一體計算、統(tǒng)一運維和統(tǒng)一數(shù)據(jù)服務(wù)共享的問題，通過一站式、便捷低成本的方式，幫助中小企業(yè)快速掌握數(shù)據(jù)價值，構(gòu)建“云上數(shù)據(jù)中臺”。

當然，大數(shù)據(jù)市場規(guī)模龐大，每類產(chǎn)品都有其主要受眾并且可能面向不同的場景領(lǐng)域。

青云大數(shù)據(jù)工作臺將面向4類場景提供服務(wù)，分別為：

精細化運營分析場景，包括用戶畫像、推薦、數(shù)據(jù)分析、大屏展示、數(shù)據(jù)治理等場景，主要受眾為中小型互聯(lián)網(wǎng)或移動互聯(lián)網(wǎng)公司。

實時計算場景，包括IoT終端實時數(shù)據(jù)分析、實時用戶日志分析、實時運營數(shù)據(jù)分析、實時風控等，主要受眾為智慧工業(yè)、智慧零售等對實時數(shù)據(jù)有加工處理需求的企業(yè)。

可視化開發(fā)與運維場景，包括數(shù)據(jù)ETL、數(shù)據(jù)挖掘等場景，主要受眾為以學習或科研為目標的客戶。

構(gòu)建數(shù)倉場景，包括數(shù)據(jù)集成、實時或離線計算、數(shù)據(jù)存儲等場景，主要受眾為青云云平臺上使用了消息隊列、數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)計算存儲的客戶。

至此，青云大數(shù)據(jù)工作臺的核心面貌得到呈現(xiàn)。

倘若再回到文章開頭提及的大數(shù)據(jù)趨勢一問，答案已經(jīng)不言自明：在企業(yè)數(shù)字化轉(zhuǎn)型的道路上，青云正在用專業(yè)技術(shù)研發(fā)和深入市場研究的實際行動，助力企業(yè)挖掘珍貴的數(shù)據(jù)資產(chǎn)，掌握潛力無限的數(shù)據(jù)價值。