壹談到數據技術，很多人首先想到的是數學，大概是因為數字在數學體系中穩固的位置吧，這也是理所當然的。本文對數據技術的數學基礎這個問題進行壹些探討。（推薦學習：Python視頻教程）
我們知道數學的三大分支，即代數、幾何與分析，每個分支隨著研究的發展延伸出來很多小分支。在這個數學體系中，與大數據技術有密切關系的數學基礎主要有以下幾類。（關於這些數學方法在大數據技術中的應用參見《互聯網大數據處理技術與應用》壹書， 2017，清華大學出版社）
（1）概率論與數理統計
這部分與大數據技術開發的關系非常密切，條件概率、獨立性等基本概念、隨機變量及其分布、多維隨機變量及其分布、方差分析及回歸分析、隨機過程（特別是Markov）、參數估計、Bayes理論等在大數據建模、挖掘中就很重要。大數據具有天然的高維特征，在高維空間中進行數據模型的設計分析就需要壹定的多維隨機變量及其分布方面的基礎。Bayes定理更是分類器構建的基礎之壹。除了這些這些基礎知識外，條件隨機場CRF、隱Markov模型、n-gram等在大數據分析中可用於對詞匯、文本的分析，可以用於構建預測分類模型。
當然以概率論為基礎的信息論在大數據分析中也有壹定作用，比如信息增益、互信息等用於特征分析的方法都是信息論裏面的概念。
（2）線性代數
這部分的數學知識與數據技術開發的關系也很密切，矩陣、轉置、秩 分塊矩陣、向量、正交矩陣、向量空間、特征值與特征向量等在大數據建模、分析中也是常用的技術手段。
在互聯網大數據中，許多應用場景的分析對象都可以抽象成為矩陣表示，大量Web頁面及其關系、微博用戶及其關系、文本集中文本與詞匯的關系等等都可以用矩陣表示。比如對於Web頁面及其關系用矩陣表示時，矩陣元素就代表了頁面a與另壹個頁面b的關系，這種關系可以是指向關系，1表示a和b之間有超鏈接，0表示a,b之間沒有超鏈接。著名的PageRank算法就是基於這種矩陣進行頁面重要性的量化，並證明其收斂性。
以矩陣為基礎的各種運算，如矩陣分解則是分析對象特征提取的途徑，因為矩陣代表了某種變換或映射，因此分解後得到的矩陣就代表了分析對象在新空間中的壹些新特征。所以，奇異值分解SVD、PCA、NMF、MF等在大數據分析中的應用是很廣泛的。
（3）最優化方法
模型學習訓練是很多分析挖掘模型用於求解參數的途徑，基本問題是：給定壹個函數f:A→R，尋找壹個元素a0∈A，使得對於所有A中的a，f(a0)≤f(a)（最小化）；或者f(a0)≥f(a)（最大化）。優化方法取決於函數的形式，從目前看，最優化方法通常是基於微分、導數的方法，例如梯度下降、爬山法、最小二乘法、***軛分布法等。
（4）離散數學
離散數學的重要性就不言而喻了，它是所有計算機科學分支的基礎，自然也是數據技術的重要基礎。這裏就不展開了。
最後，需要提的是，很多人認為自己數學不好，數據技術開發應用也做不好，其實不然。要想清楚自己在大數據開發應用中充當什麽角色。參考以下的大數據技術研究應用的切入點，上述數學知識主要體現在數據挖掘與模型層上，這些數學知識和方法就需要掌握了。
當然其他層次上，使用這些數學方法對於改進算法也是非常有意義的，例如在數據獲取層，可以利用概率模型估計爬蟲采集頁面的價值，從而能做出更好的判斷。在大數據計算與存儲層，利用矩陣分塊計算實現並行計算。
更多Python相關技術文章，請訪問Python教程欄目進行學習！