我們正處于大數據和數字化轉型的時代。數據無處不在,運用數據驅動的思想和策略在實踐中逐漸成為共識,數據的價值已在科學研究和工商業的不同領域得到充分展現。然而,如果無法從數據中提取出知識和信息并加以有效利用,數據本身并不能驅動和引領數字化轉型取得成功。如何讓數據發揮它最大的價值?“數據智能”(Data Intelligence) 應運而生。
然而,技術的不斷發展終究要服務于現實生活,海量數據背后那些未被挖掘的價值,需要企業不斷挖掘并樂于分享才能真正促進行業轉型,才能賦能各種應用場景。日前,由MobTech MobAI團隊基于Spark自研的因子分解機(Factorization Machine,簡稱FM)模型已得到Spark merge,Spark使用者只要更新Spark后,即可使用該模型。
Apache Spark是一個互聯網行業普遍使用的開源大數據分布式編程框架,借助Catalyst、新的混排方法、新的網絡模塊等,獲得了超越MapReduce框架的性能,也提供了豐富的API接口。截至2015年年底,Spark是所有大數據項目中最活躍的開源項目。如今,許多公司使用Spark,包括亞馬遜、Autodesk、Groupon、TripAdvisor,百度、阿里巴巴和騰訊、微軟等國內外一流互聯網公司都在使用。
而FM模型自從2010年被提出后,由于易于整合交叉特征、能夠有效解決高維數據特征組合的稀疏問題且具有較高的預測精度和計算效率,在推薦系統及廣告CTR預估等領域得到了大規模使用,國內很多大廠(如美團、頭條等)都用它來做推薦及CTR預估。在數據稀疏的情況(如CTR預測)下,FM模型展現出非常高的預測質量,被提出后迅速成為學術界和行業研究和應用的熱點。
比如在某銀行短信投放的項目中,一開始使用對于計算廣告等有天然優勢的邏輯回歸模型,點擊率為1.18%。但是,邏輯回歸雖然適合用來學習需要大規模訓練的樣本和特征,同時也有著不容忽視的缺點:1.模型表達能力弱,需要大量的特征組合提高特征的表達;2.模型簡單,容易欠擬合。所以在評估后,MobTech選擇了使用FM模型,成功幫助用戶的點擊率增長至3.62%,帶來了更多轉化。
作為全球領先的數據智能科技平臺,MobTech結合大規模數據處理、數據挖掘、機器學習、可視化等多種技術,從數據中提煉、發掘、獲取有揭示性和可操作性的信息,為企業和品牌在基于數據制定決策或執行任務時提供有效的智能支持。自研FM模型并得到Spark merge是MobTech助力各企業探求數據空間中未知世界,在不同領域里尋找巨大機會的見證,也彰顯了MobTech在推動行業重塑商業分析和商業智能領域的決心。
新一輪技術革命帶來的商業演進把我們帶進“ABC”時代,即人工智能(AI)、大數據(Big Data)和云計算(Cloud Computing)。而根據Gartner的調研,一種新的
“增強分析”的分析模式正在顛覆舊有方式,預計在幾年內將成為商業智能系統采購的主導驅動力。這種“增強分析”模式正是由數據智能技術賦能,提供了自然語言查詢和敘述、增強的數據準備、自動的高級分析、基于可視化的數據探索等多種核心能力。
未來,MobTech將會潛心數據智能研究,讓產品更加契合當今大數據時代各領域、各行業從數據中挖掘、實現價值,進行數字化轉型的迫切需要。并不斷將成果與眾企業分享,一同實現數據智能在更多領域的落地和發展,不斷挑戰新應用和新場景,進一步激發和驅動數字智能研究保持強勁的發展勢頭,邁向更高的層次。