費馬的父親多米尼克·費馬（Dominique Fermat）是壹位皮貨商，同時也是波蒙特－洛門地區的第二執政官。皮埃爾·德·費馬的母親克萊兒·德·隆格（Claire de Long）則出身於法官世家。費瑪於1601年8月出生（於8月20日在波蒙特－洛門受洗），而父母壹心要栽培皮埃爾·德·費馬成為地方首長。
皮埃爾·德·費馬幼年在杜魯斯求學，30歲時就任同壹地的請願委員，同年與露薏絲·隆格（Louise Long）結婚，育有三子二女，其中壹個兒子克雷門·山繆·費馬（Clement Samuel Fermat）成了皮埃爾·德·費馬科研上的主要助手，並在費馬逝世後，整理出版了皮埃爾·德·費馬的工作成果。事實上，這份出版品也就是今日聞名已久的費馬最後定理（Fermat's.Last.Theorem）之出處。 由於家境富裕，父親特意給皮埃爾·德·費馬請了兩個家庭教師，不入學校而在家裏接受系統教育。小時候的費馬雖稱不上是神童，卻也相當聰明。費馬父親比較開通，並不寵愛孩子，因此費爾瑪學習十分努力，文科、理科都學得不差，不過，皮耶·德·費馬最喜歡的功課，還是數學。
1617年，費馬準備考大學，父親希望他讀法律，費馬也很喜歡這門學科，所以沒有多大的爭議，就接受了父親的安排。