藍(lán)盟IT小貼士，來(lái)！

IT 員工和數(shù)據(jù)專業(yè)人員需要構(gòu)建物理基礎(chǔ)架構(gòu)，以便在不同來(lái)源和多個(gè)應(yīng)用程序之間移動(dòng)數(shù)據(jù)。它還必須滿足性能、可擴(kuò)展性、及時(shí)性、安全性和數(shù)據(jù)治理要求。此外，業(yè)務(wù)可能會(huì)迅速失控，因此必須提前考慮部署成本。

也許最重要的是，企業(yè)首先需要弄清楚大數(shù)據(jù)如何以及為什么對(duì)他們的業(yè)務(wù)很重要。

“大數(shù)據(jù)項(xiàng)目面臨的最大挑戰(zhàn)之一是如何更好地應(yīng)用所獲得的知識(shí)，”ERP 軟件提供商 VAI 的商業(yè)智能經(jīng)理比爾說(shuō)。

雖然許多應(yīng)用程序和系統(tǒng)都在捕獲數(shù)據(jù)，但企業(yè)往往難以理解有價(jià)值的數(shù)據(jù)，并且未能以一種有影響力的方式應(yīng)用這種觀點(diǎn)。

從更廣泛的角度來(lái)看，以下建議可幫助組織了解這 10 大數(shù)據(jù)挑戰(zhàn)以及如何應(yīng)對(duì)這些挑戰(zhàn)。

1.管理大量數(shù)據(jù)

在這個(gè)定義中，大數(shù)據(jù)通常包括存儲(chǔ)在各種系統(tǒng)和平臺(tái)上的大量數(shù)據(jù)。企業(yè)面臨的第一個(gè)挑戰(zhàn)是將來(lái)自 CRM、ERP 系統(tǒng)和其他數(shù)據(jù)源的大型數(shù)據(jù)集集成到一個(gè)集成的、可管理的大數(shù)據(jù)架構(gòu)中。

他說(shuō)，當(dāng)他知道正在收集的數(shù)據(jù)時(shí)，通過(guò)進(jìn)行較小的調(diào)整來(lái)縮小洞察范圍會(huì)更容易。要實(shí)現(xiàn)這一點(diǎn)，請(qǐng)構(gòu)建一個(gè)允許增量更改的基礎(chǔ)架構(gòu)。如果您嘗試進(jìn)行重大更改，最終可能會(huì)遇到新問(wèn)題。

2. 查找并修復(fù)數(shù)據(jù)質(zhì)量問(wèn)題

如果數(shù)據(jù)質(zhì)量問(wèn)題蔓延到大數(shù)據(jù)系統(tǒng)，基于大數(shù)據(jù)構(gòu)建的分析算法和人工智能APP應(yīng)用可能會(huì)導(dǎo)致不良后果。如果數(shù)據(jù)管理和分析團(tuán)隊(duì)嘗試部署更多不同類型的數(shù)據(jù)，這些問(wèn)題可能會(huì)變得更加嚴(yán)重且難以審核。在在線市場(chǎng)中尋找在線購(gòu)物助手，以幫助人們購(gòu)買產(chǎn)品并安排運(yùn)輸。在擴(kuò)展到 500,000 個(gè)客戶時(shí)遇到此問(wèn)題。該公司的主要增長(zhǎng)動(dòng)力是利用大數(shù)據(jù)來(lái)提供高度定制的體驗(yàn)、識(shí)別追加銷售機(jī)會(huì)并監(jiān)控新趨勢(shì)。有效的數(shù)據(jù)質(zhì)量管理是一個(gè)重要問(wèn)題。

“我們需要不斷監(jiān)控和修復(fù)數(shù)據(jù)質(zhì)量問(wèn)題，”Pavel 說(shuō)。他說(shuō)重復(fù)條目和拼寫錯(cuò)誤很常見(jiàn)，特別是如果數(shù)據(jù)來(lái)自不同的來(lái)源。為了確保他們收集的數(shù)據(jù)的質(zhì)量，該團(tuán)隊(duì)創(chuàng)建了智能數(shù)據(jù)分類器。此分類器匹配具有較小數(shù)據(jù)差異的重復(fù)數(shù)據(jù)，并報(bào)告拼寫錯(cuò)誤的可能性。這有助于提高通過(guò)分析數(shù)據(jù)生成的集團(tuán)業(yè)務(wù)洞察力的準(zhǔn)確性。3. 應(yīng)對(duì)數(shù)據(jù)集成和準(zhǔn)備的復(fù)雜性

開(kāi)源分析平臺(tái)提供商 Knime 的首席數(shù)據(jù)科學(xué)家表示，大數(shù)據(jù)平臺(tái)可以解決收集和存儲(chǔ)大量不同類型數(shù)據(jù)的問(wèn)題，并快速獲取分析所需的數(shù)據(jù)。但是it技術(shù)，數(shù)據(jù)收集過(guò)程仍然非常困難。

企業(yè)收集的數(shù)據(jù)存儲(chǔ)的完整性取決于持續(xù)更新。這需要保持對(duì)各種數(shù)據(jù)源的訪問(wèn)并擁有專門的大數(shù)據(jù)集成策略。

一些公司使用數(shù)據(jù)湖作為綜合存儲(chǔ)庫(kù)來(lái)存儲(chǔ)從不同來(lái)源收集的大型數(shù)據(jù)集，而不管各種數(shù)據(jù)將如何集成。例如，不同的業(yè)務(wù)領(lǐng)域生成的數(shù)據(jù)對(duì)于聯(lián)合分析很重要，但往往具有不同的潛在含義，公司需要消除歧義。警告我們暫時(shí)不要集成項(xiàng)目。這可能包括大量的返工。為了優(yōu)化大數(shù)據(jù)項(xiàng)的投資回報(bào)，通常建議制定支持?jǐn)?shù)據(jù)集成的戰(zhàn)略方法。

4. 大數(shù)據(jù)系統(tǒng)的高效和經(jīng)濟(jì)擴(kuò)展

如果企業(yè)沒(méi)有使用大數(shù)據(jù)的策略，那么存儲(chǔ)大數(shù)據(jù)可能會(huì)浪費(fèi)大量資金。根據(jù)技術(shù)和服務(wù)提供商 ZL Tech 企業(yè)解決方案負(fù)責(zé)人的說(shuō)法，企業(yè)需要了解大數(shù)據(jù)分析始于數(shù)據(jù)捕獲階段。管理企業(yè)數(shù)據(jù)存儲(chǔ)還需要一致的保留策略來(lái)回收舊信息。尤其是現(xiàn)在，COVID-19 之前的數(shù)據(jù)在當(dāng)今市場(chǎng)上往往不準(zhǔn)確。

云管理平臺(tái)供應(yīng)商產(chǎn)品副總裁 Rehl 表示，數(shù)據(jù)管理團(tuán)隊(duì)必須在部署大數(shù)據(jù)系統(tǒng)之前規(guī)劃數(shù)據(jù)類型、模型和用途。然而，這并不容易。

“我們通常從數(shù)據(jù)模型開(kāi)始進(jìn)行擴(kuò)展，但很快意識(shí)到該模型不適合新的數(shù)據(jù)點(diǎn)，并且突然需要解決技術(shù)債務(wù)問(wèn)題，”他說(shuō)。

具有適當(dāng)數(shù)據(jù)結(jié)構(gòu)的公共數(shù)據(jù)湖可以更輕松、更高效、更經(jīng)濟(jì)地重用數(shù)據(jù)。例如，文件通常比數(shù)據(jù)湖 CSV 轉(zhuǎn)儲(chǔ)提供更好的性能成本比。

5、大數(shù)據(jù)技術(shù)評(píng)價(jià)與選擇

數(shù)據(jù)管理團(tuán)隊(duì)擁有多種大數(shù)據(jù)技術(shù)，而且各種工具的功能通常會(huì)重疊。

NoSQL 數(shù)據(jù)庫(kù)公司的首席戰(zhàn)略官表示，來(lái)自流和批處理源的當(dāng)前和未來(lái)數(shù)據(jù)，包括大型機(jī)、云應(yīng)用程序和第三方數(shù)據(jù)服務(wù)，例如 Kafka、、AWS 和 pub 等企業(yè)流平臺(tái)。/sub ) 可以是云、本地和混合。然后，團(tuán)隊(duì)需要評(píng)估復(fù)雜的數(shù)據(jù)準(zhǔn)備能力，并將數(shù)據(jù)提供給人工智能、機(jī)器學(xué)習(xí)和其他高級(jí)分析系統(tǒng)。計(jì)劃處理數(shù)據(jù)的位置也很重要。如果延遲是一個(gè)問(wèn)題，團(tuán)隊(duì)?wèi)?yīng)該考慮如何在邊緣服務(wù)器上運(yùn)行分析和 AI 模型it技術(shù)，以及如何輕松更新模型。企業(yè)必須在這些功能與部署和管理在本地、云端或邊緣運(yùn)行的設(shè)備和應(yīng)用程序的成本之間取得平衡。

6. 產(chǎn)生商業(yè)洞察力

數(shù)據(jù)團(tuán)隊(duì)傾向于關(guān)注大數(shù)據(jù)技術(shù)而不是結(jié)果。經(jīng)常發(fā)現(xiàn)他們不太關(guān)心如何處理數(shù)據(jù)。

從企業(yè)中的大數(shù)據(jù)應(yīng)用程序中生成有價(jià)值的業(yè)務(wù)洞察需要考慮多種場(chǎng)景，包括基于 KPI 的報(bào)告、識(shí)別有用的預(yù)測(cè)以及提出不同類型的建議。

這需要具有機(jī)器學(xué)習(xí)專業(yè)知識(shí)的業(yè)務(wù)分析師、統(tǒng)計(jì)學(xué)家和數(shù)據(jù)科學(xué)家的協(xié)助。她說(shuō)，這些團(tuán)隊(duì)與大數(shù)據(jù)工程團(tuán)隊(duì)合作，可以提高構(gòu)建大數(shù)據(jù)環(huán)境的投資回報(bào)率。

文/上海藍(lán)盟IT外包專家