本篇文章2971字，讀完約7分鐘

離心機(jī)蓋子打不開

最近，匯款技術(shù)mobvista全面升級(jí)了saas產(chǎn)品“一站式云原生大數(shù)據(jù)ai平臺(tái)”——engineplus 2.0，正式上線亞馬遜云技術(shù)AWS市場(chǎng)平臺(tái)。

隨著公司業(yè)務(wù)的迅速擴(kuò)張，派生數(shù)據(jù)量面臨爆炸式增長(zhǎng)，公司對(duì)數(shù)據(jù)解決解體的訴求越來(lái)越迫切。

在這種背景下，創(chuàng)新技術(shù)和方案成為公司應(yīng)對(duì)數(shù)據(jù)智能解決的挑戰(zhàn)所必需的。 快速構(gòu)建湖倉(cāng)一體大數(shù)據(jù)觀察平臺(tái)，高效實(shí)時(shí)獲取數(shù)據(jù)，通過(guò)人工智能模型實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化，充分實(shí)現(xiàn)業(yè)務(wù)能力。

engineplus 2.0將數(shù)據(jù)湖、計(jì)算分解、人工智能集成到統(tǒng)一平臺(tái)上，提供了面向多樣化業(yè)務(wù)場(chǎng)景的實(shí)時(shí)數(shù)據(jù)湖框架starlake、機(jī)器學(xué)習(xí)框架mindalpha等自主開發(fā)的開源工具，為service提供了一個(gè)平臺(tái)。 engineplus 2.0通過(guò)開放的產(chǎn)品體系結(jié)構(gòu)解決開發(fā)者智能解決云和數(shù)據(jù)的難題，加速了企業(yè)數(shù)字化轉(zhuǎn)型和業(yè)務(wù)創(chuàng)新。

引擎 2.0三板斧:大數(shù)據(jù)+ ai +云本機(jī)

新一代一站式云原生大數(shù)據(jù)ai平臺(tái)engineplus 2.0通過(guò)融合創(chuàng)新大數(shù)據(jù)和云計(jì)算、人工智能等新聞技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)采集、數(shù)據(jù)計(jì)算、模型培訓(xùn)、開通 在大規(guī)模業(yè)務(wù)的生產(chǎn)驗(yàn)證下，engineplus 2.0兼具高速訪問(wèn)、易用性、高性能、高穩(wěn)定性等優(yōu)勢(shì)。

/ S2/1./ S2// S2 /開放源代碼/ S2// S2 /數(shù)據(jù)湖框架/ S2// S2///S2 /。

作為核心數(shù)據(jù)存儲(chǔ)的容器，數(shù)據(jù)湖具有高效、高速的特點(diǎn)，但隨之而來(lái)的是相當(dāng)高的復(fù)雜度和較高的計(jì)算價(jià)格。

為了讓顧客更好地使用這種數(shù)據(jù)存儲(chǔ)分解方法，mobvista研究開發(fā)了數(shù)據(jù)湖框架starlake，并將其開源，實(shí)現(xiàn)了大數(shù)據(jù)的實(shí)時(shí)采集和更新。

憑借矩陣upsert功能、高合并入湖、元數(shù)據(jù)管理可擴(kuò)展性、目標(biāo)存儲(chǔ)io性能深度優(yōu)化等特點(diǎn)，starlake數(shù)據(jù)湖框架可以有效構(gòu)建湖倉(cāng)一體化拆解平臺(tái)，是開源的同類數(shù)據(jù)湖框架。

(照片: starlake vs. iceberg用于測(cè)試)

engineplus 2.0集成了云計(jì)算平臺(tái)spark on k8s，可實(shí)現(xiàn)資源快速擴(kuò)展、資源高效利用、滿足企業(yè)超大數(shù)據(jù)需求和高效靈活的訴求

2.開放源碼機(jī)器學(xué)習(xí)框架 迷你alpha

除了數(shù)據(jù)湖，用人工智能對(duì)數(shù)據(jù)進(jìn)行建模是挖掘數(shù)據(jù)背后價(jià)值的重要方法，通過(guò)算法對(duì)數(shù)據(jù)進(jìn)行建模，從而激活業(yè)務(wù)，產(chǎn)生價(jià)值。

mobvista自研開源機(jī)器學(xué)習(xí)框架mindalpha輕松解決大規(guī)模離散的特點(diǎn)，與engineplus 2.0上的spark、starlake無(wú)縫結(jié)合，實(shí)現(xiàn)從數(shù)據(jù)到智能的一體化、一站式高效體

mindalpha開源參數(shù)服務(wù)器SDK支持千億級(jí)大規(guī)模稀疏離散特征，與pytorch、spark mllib無(wú)縫連接，特征求解和模型推理的邏輯和參數(shù)完全自動(dòng)在線服務(wù)器 實(shí)際上達(dá)到毫秒級(jí)的延遲級(jí)別，提供實(shí)時(shí)反饋，并迅速捕獲客戶的行為。 另外，其高性能在線服務(wù)可以橫向分割模型，支持萬(wàn)億參數(shù)，具有低延遲、自動(dòng)彈性伸縮的特點(diǎn)，可以進(jìn)行cpu、gpu異構(gòu)的調(diào)度和負(fù)載平衡。

(照片: mindalpha體系結(jié)構(gòu))

.基于spot max的云特定體系結(jié)構(gòu)

輕松利用互聯(lián)網(wǎng)資源，實(shí)現(xiàn)管理、業(yè)務(wù)等方面的數(shù)據(jù)化轉(zhuǎn)型，公司內(nèi)部云訴求火爆。 云的原生體系結(jié)構(gòu)也因其高性能、可擴(kuò)展性、一致性、符合標(biāo)準(zhǔn)、容錯(cuò)、易于管理、易模糊的支持等特點(diǎn)而受到公司的歡迎。

engineplus 2.0基于spotmax提供云的本機(jī)體系結(jié)構(gòu)。 spotmax云的原生系統(tǒng)具有云資源調(diào)度優(yōu)化、容器+服務(wù)網(wǎng)格融合、多云和混合云統(tǒng)一管理、無(wú)服務(wù)平臺(tái)等特點(diǎn)。 engineplus 2.0是基于spotmax構(gòu)建的云本機(jī)基礎(chǔ)架構(gòu)，支持快速部署一鍵，從而大幅降低運(yùn)輸成本。 在計(jì)算存儲(chǔ)隔離的情況下，engineplus 2.0與目標(biāo)存儲(chǔ)系統(tǒng)進(jìn)行了優(yōu)化。 另外，所有組件都可以靈活伸縮，從而提高公司的效率，降低系統(tǒng)構(gòu)建的價(jià)格。

/ S2// S2/mob vista/S2 /技術(shù)中臺(tái)戰(zhàn)術(shù)

在engineplus 2.0一站式云原生大數(shù)據(jù)ai平臺(tái)的背后，是整個(gè)mobvista技術(shù)的中臺(tái)。 打破業(yè)務(wù)界限，mobvista技術(shù)中臺(tái)通過(guò)聚合協(xié)同作用對(duì)外提供能源。

年，mobvista啟動(dòng)了中臺(tái)戰(zhàn)術(shù)，自主開發(fā)了以ai+big data為核心的技術(shù)中臺(tái)體系結(jié)構(gòu)。 此時(shí)，mobvista旗下的移動(dòng)計(jì)劃廣告平臺(tái)mintegral、數(shù)據(jù)觀察平臺(tái)gameanalytics的高速發(fā)展，以及集團(tuán)提出國(guó)際化戰(zhàn)術(shù)，進(jìn)一步擴(kuò)大了全球業(yè)務(wù)。

年，基于數(shù)據(jù)中心數(shù)據(jù)庫(kù)、大數(shù)據(jù)計(jì)算平臺(tái)引擎、大型機(jī)器學(xué)習(xí)中心mindalpha、云本機(jī)架構(gòu)開發(fā)的靈活集群管理平臺(tái)spotmax mobvista將技術(shù)中臺(tái)產(chǎn)品化，對(duì)外發(fā)布，目的是以智能技術(shù)驅(qū)動(dòng)增長(zhǎng)。

從自研走向商業(yè)化，mobvista技術(shù)的中臺(tái)——為這個(gè)企業(yè)整體的各項(xiàng)業(yè)務(wù)提供處理方案的團(tuán)隊(duì)，邁出了對(duì)外賦能的越來(lái)越多的步驟。 無(wú)論是datatory、engineplus、mindalpha還是已成為集團(tuán)二級(jí)企業(yè)品牌的spotmax，這些產(chǎn)品都來(lái)自mobvista的大型業(yè)務(wù)實(shí)踐。 在深入融合商業(yè)訴求場(chǎng)景的基礎(chǔ)上，mobvista技術(shù)中臺(tái)從中沉淀平臺(tái)能力，不斷重用，產(chǎn)品化、商業(yè)化，對(duì)外創(chuàng)造價(jià)值。

這與mobvista提出的“saas工具生態(tài)”戰(zhàn)術(shù)相一致。 互聯(lián)網(wǎng)的“技術(shù)溢出效應(yīng)”正在加速數(shù)字化轉(zhuǎn)型，mobvista從技術(shù)創(chuàng)新者變?yōu)榧夹g(shù)輸出者。

市場(chǎng)訴求爆發(fā)，數(shù)據(jù)技術(shù)不斷更迭。 對(duì)于希望加快數(shù)字化轉(zhuǎn)型的企業(yè)來(lái)說(shuō)，engineplus 2.0可以通過(guò)一體化的產(chǎn)品處理計(jì)劃，幫助企業(yè)數(shù)字化進(jìn)程，實(shí)際上可以推動(dòng)企業(yè)業(yè)務(wù)的快速發(fā)展。

從網(wǎng)絡(luò)廣告、電子商務(wù)領(lǐng)域到金融監(jiān)管，engineplus 2.0成功地迅速發(fā)展了數(shù)家國(guó)內(nèi)公司、海外公司的業(yè)務(wù)。

以mobvista程序化互動(dòng)廣告平臺(tái)mintegral為例，其日均數(shù)據(jù)量達(dá)到Pb級(jí)，需要調(diào)度數(shù)萬(wàn)cpu核心。 采用engineplus 2.0后，mintegral可以實(shí)時(shí)解決顧客的行為特征，進(jìn)行毫秒級(jí)的反饋。 在日千億次dnn模型預(yù)測(cè)要求下，滿足萬(wàn)億級(jí)排序量的排序業(yè)務(wù)服務(wù)，較有效地奠定了mintegral在全球的領(lǐng)先地位。 另外，由于engineplus 2.0的效果，一家網(wǎng)絡(luò)進(jìn)軍海外的金融企業(yè)的業(yè)務(wù)成績(jī)指標(biāo)迅速上升了20%+。

“engineplus 2.0融合了豐富的領(lǐng)域工具包、開源代碼和數(shù)據(jù)算法模型，幫助開發(fā)者在數(shù)據(jù)觀察、技術(shù)開發(fā)和業(yè)務(wù)的快速發(fā)展中提供可靠、準(zhǔn)確的分解應(yīng)用能力。 讓顧客站在大家的肩膀上，快速建立從數(shù)據(jù)采集、分解到ai模型離線培訓(xùn)、在線預(yù)測(cè)的一體化能力。 ”mobvista集團(tuán)副總裁朱亞?wèn)|博士說(shuō)。

“當(dāng)然，經(jīng)過(guò)業(yè)務(wù)的大規(guī)模實(shí)踐和可行性驗(yàn)證，我們積累了越來(lái)越多的經(jīng)驗(yàn)和專業(yè)信息，為用戶提供部署服務(wù)，讓他們以最小的技術(shù)門檻、最小的價(jià)格、最小的風(fēng)險(xiǎn)進(jìn)行數(shù)字化轉(zhuǎn)型、智能化升級(jí)。 我們希望成為中國(guó)版ai承載的數(shù)據(jù)積木，跨越數(shù)據(jù)爆炸性增長(zhǎng)到智能解決的鴻溝，構(gòu)建新一代的基礎(chǔ)設(shè)施體系。 ”

數(shù)字化快速發(fā)展前景廣闊。 結(jié)合多年的技術(shù)經(jīng)驗(yàn)和領(lǐng)域積累，mobvista為越來(lái)越多的公司組織構(gòu)建了saas工具生態(tài)，以技術(shù)產(chǎn)品、實(shí)踐經(jīng)驗(yàn)使領(lǐng)域的智能化升級(jí)成為可能。