山水詩的起源最初可以追溯到秦漢時期，在《采薇》中的“昔我往矣，楊柳依依。今我來思，雨雪霏霏”中對景物的描寫可以看作是山水詩的起源。而到了東漢時期曹操的《觀滄海》被看作是最早的壹首完整的山水詩。時至東晉，當時盛行的玄言詩中多有描寫山水景物的詩句，因此對山水詩的形成至關重要。尤其是殷仲文和謝混的詩，他們的詩中對山水的描寫占有很大的比重，謝混的《遊西池》是這壹時期山水題材的代表作。殷仲文、謝混的這類作品是南朝劉宋謝靈運等人大量摹山範水的先聲。
“宋初文詠，體有因革。莊老告退，而山水方滋”直接點明了山水詩在南朝劉宋時期形成。山水詩的形成在晉末宋初，謝靈運是第壹個以大量自然山水描寫奠定了山水詩基礎的詩人。謝靈運在詩中對景物細致描摹，極力雕琢，對景物的描寫追求形似，主要采用白描的手法，給人壹種清新自然的感覺。但是由於景物很難原原本本地呈現在詩中，有時詩人不得不自己造詞，這就使得他的詩很難讀很拗口，這是山水詩形成初期的瑕疵。另外，由於生活在玄言詩的全盛時期，謝靈運在詩的末尾喜歡以玄言結尾，受老莊思想的影響在他的詩中仍然有大量的玄言詩的意味。
之後，使山水詩趨於完善成熟的、有影響的詩人是謝眺，他在題材範圍及情景關系方面都有壹定的創新，使得山水詩得以正常發展。謝朓的山水詩工於發端，並在結尾抒情，雖然還未完全做到情景交融，但已經完全擺脫了玄言詩的影響。在《晚登三山還望京邑》中的“余霞散成綺，澄江靜如練”體現了他的詩清麗、圓潤的特點。
到了王維，孟浩然這些詩人這裏山水詩的發展達到頂峰。王維繼承和發展了謝靈運山水詩極力雕琢，細致描摹山水景物，融理入景的詩風傳統，同時也受到陶淵明田園詩清新自然的詩風的影響。他的《山居秋暝》只有少少的20字，卻簡短清晰地向人們展示了壹幅寧靜淡然的月夜空山圖。而孟浩然的山水詩著眼於行人的所見所聞，他在詩中的思考很少感情流於外在，景隨情遷，點到為止。另外他的山水詩多寫南方秀麗的山水景色。此時的山水詩已經不局限於描寫自然風貌，更多的是情景交融，融情於景，“壹切景語皆情語”是此時山水詩的最大特點。
山水詩的形成在很大程度上受到政治時局的影響。魏晉時期社會動亂，朝政不堪。有才之人得不到重用，對山水詩的形成起重要作用的謝靈運由於對當時朝政的不滿，因此縱情山水遍覽山川河流，為山水詩的寫作積累了大量的素材。而且魏晉時期選官制度——九品中正制使得很多寒門出身的人得不到重用，“世胄躡高位，英俊沈下僚；地勢使之然，由來非壹朝”。很多寒門士子空有才華卻難以施展，面對仕途無望的現實他們不得不縱情於山水以排遣心中的憂悶，以此來修身養性。總而言之，社會的現實與文人士大夫的理想之間的矛盾是山水詩形成的根本原因。
另外，玄言詩的說理枯燥無味。為了更好地說理很多詩人在詩中加入自然景物的描寫，提倡“師法自然”，通過對自然的觀察感悟來說理明義。而這壹自然就是世間萬物，自然景觀山川名勝成為玄言詩說理的媒介。自此，玄言詩的說理變得更加生動，更加深刻。玄言詩的這壹轉變，為山水詩的發展提供了空間和素材的積累。
山水詩是我國詩壇上的壹次重大突破，它豐富了詩歌的題材，並且可以讓後人通過文人的詩來欣賞世界各地的美景，即使有些景色已經不復存在，但詩歌的記載可以使消失的山水重現在人們的心中，永久留存。