當前位置:編程學習大全網 - 源碼下載 - 大數據挖掘需要學習哪些技術大數據的工作

大數據挖掘需要學習哪些技術大數據的工作

處理大數據需要壹個綜合、復雜、多方位的系統,系統中的處理模塊有很多,而數據挖掘技術以壹個獨立的身份存在於處理大數據的整個系統之中,與其他模塊之間相輔相成、協調發展。在大數據時代中,數據挖掘技術的地位是無可比擬的。

數據挖掘的基本流程

在正式講數據挖掘知識清單之前,我先和妳聊聊數據挖掘的基本流程。

數據挖掘的過程可以分成以下 6 個步驟。

商業理解:數據挖掘不是我們的目的,我們的目的是更好地幫助業務,所以第壹步我們要從商業的角度理解項目需求,在這個基礎上,再對數據挖掘的目標進行定義。

數據理解:嘗試收集部分數據,然後對數據進行探索,包括數據描述、數據質量驗證等。這有助於妳對收集的數據有個初步的認知。

數據準備:開始收集數據,並對數據進行清洗、數據集成等操作,完成數據挖掘前的準備工作。

模型建立:選擇和應用各種數據挖掘模型,並進行優化,以便得到更好的分類結果。

模型評估:對模型進行評價,並檢查構建模型的每個步驟,確認模型是否實現了預定的商業目標。

上線發布:模型的作用是從數據中找到金礦,也就是我們所說的“知識”,獲得的知識需要轉化成用戶可以使用的方式,呈現的形式可以是壹份報告,也可以是實現壹個比較復雜的、可重復的數據挖掘過程。數據挖掘結果如果是日常運營的壹部分,那麽後續的監控和維護就會變得重要。

數據挖掘的十大算法

為了進行數據挖掘任務,數據科學家們提出了各種模型,在眾多的數據挖掘模型中,國際權威的學術組織 ICDM (the IEEE International Conference on Data Mining)評選出了十大經典的算法。

按照不同的目的,我可以將這些算法分成四類,以便妳更好的理解。

分類算法:C4.5,樸素貝葉斯(Naive Bayes),SVM,KNN,Adaboost,CART

聚類算法:K-Means,EM

關聯分析:Apriori

連接分析:PageRank

1. C4.5

C4.5 算法是得票最高的算法,可以說是十大算法之首。C4.5 是決策樹的算法,它創造性地在決策樹構造過程中就進行了剪枝,並且可以處理連續的屬性,也能對不完整的數據進行處理。它可以說是決策樹分類中,具有裏程碑式意義的算法。

2. 樸素貝葉斯(Naive Bayes)

樸素貝葉斯模型是基於概率論的原理,它的思想是這樣的:對於給出的未知物體想要進行分類,就需要求解在這個未知物體出現的條件下各個類別出現的概率,哪個最大,就認為這個未知物體屬於哪個分類。

3. SVM

SVM 的中文叫支持向量機,英文是 Support Vector Machine,簡稱 SVM。SVM 在訓練中建立了壹個超平面的分類模型。如果妳對超平面不理解,沒有關系,我在後面的算法篇會給妳進行介紹。

4. KNN

KNN 也叫 K 最近鄰算法,英文是 K-Nearest Neighbor。所謂 K 近鄰,就是每個樣本都可以用它最接近的 K 個鄰居來代表。如果壹個樣本,它的 K 個最接近的鄰居都屬於分類 A,那麽這個樣本也屬於分類 A。

5. AdaBoost

Adaboost 在訓練中建立了壹個聯合的分類模型。boost 在英文中代表提升的意思,所以 Adaboost 是個構建分類器的提升算法。它可以讓我們多個弱的分類器組成壹個強的分類器,所以 Adaboost 也是壹個常用的分類算法。

6. CART

CART 代表分類和回歸樹,英文是 Classification and Regression Trees。像英文壹樣,它構建了兩棵樹:壹棵是分類樹,另壹個是回歸樹。和 C4.5 壹樣,它是壹個決策樹學習方法。

7. Apriori

Apriori 是壹種挖掘關聯規則(association rules)的算法,它通過挖掘頻繁項集(frequent item sets)來揭示物品之間的關聯關系,被廣泛應用到商業挖掘和網絡安全等領域中。頻繁項集是指經常出現在壹起的物品的集合,關聯規則暗示著兩種物品之間可能存在很強的關系。

8. K-Means

K-Means 算法是壹個聚類算法。妳可以這麽理解,最終我想把物體劃分成 K 類。假設每個類別裏面,都有個“中心點”,即意見領袖,它是這個類別的核心。現在我有壹個新點要歸類,這時候就只要計算這個新點與 K 個中心點的距離,距離哪個中心點近,就變成了哪個類別。

9. EM

EM 算法也叫最大期望算法,是求參數的最大似然估計的壹種方法。原理是這樣的:假設我們想要評估參數 A 和參數 B,在開始狀態下二者都是未知的,並且知道了 A 的信息就可以得到 B 的信息,反過來知道了 B 也就得到了 A。可以考慮首先賦予 A 某個初值,以此得到 B 的估值,然後從 B 的估值出發,重新估計 A 的取值,這個過程壹直持續到收斂為止。

EM 算法經常用於聚類和機器學習領域中。

10. PageRank

PageRank 起源於論文影響力的計算方式,如果壹篇文論被引入的次數越多,就代表這篇論文的影響力越強。同樣 PageRank 被 Google 創造性地應用到了網頁權重的計算中:當壹個頁面鏈出的頁面越多,說明這個頁面的“參考文獻”越多,當這個頁面被鏈入的頻率越高,說明這個頁面被引用的次數越高。基於這個原理,我們可以得到網站的權重劃分。

最後

算法可以說是數據挖掘的靈魂,也是最精華的部分。這 10 個經典算法在整個數據挖掘領域中的得票最高的,後面的壹些其他算法也基本上都是在這個基礎上進行改進和創新。今天妳先對十大算法有壹個初步的了解,妳只需要做到心中有數就可以了。

  • 上一篇:手機軟件開發公司哪家比較好
  • 下一篇:請教下網頁設計方面的達人
  • copyright 2024編程學習大全網