統計學是通過搜索、整理、分析、描述數據等手段，以達到推斷所測對象的本質，甚至預測對象未來的壹門綜合性科學。其中用到了大量的數學及其它學科的專業知識，它的使用範圍幾乎覆蓋了社會科學和自然科學的各個領域。
統計學的英文statistics最早源於現代拉丁文statisticum collegium（國會）以及意大利文statista（國民或政治家）。德文Statistik，最早是由Gottfried Achenwall於1749年使用，代表對國家的資料進行分析的學問，也就是“研究國家的科學”。在十九世紀統計學在廣泛的數據以及資料中探究其意義，並且由John Sinclair引進到英語世界。
統計學是壹門很古老的科學，壹般認為其學理研究始於古希臘的亞裏斯多德時代，迄今已有兩千三百多年的歷史。它起源於研究社會經濟問題，在兩千多年的發展過程中，統計學至少經歷了“城邦政情”，“政治算數”和“統計分析科學”三個發展階段。所謂“數理統計”並非獨立於統計學的新學科，確切地說：它是統計學在第三個發展階段所形成的所有收集和分析數據的新方法的壹個綜合性名詞。概率論是數理統計方法的理論基礎，但是它不屬於統計學的範疇，而屬於數學的範疇。