1931年，美國國會建立了壹個talking-book（可以說話的書）計劃，目的是幫助廣大不能閱讀傳統紙質書的盲人。此計劃被稱為“成年盲人讀書工程”，美國盲人基金會在1932年出版了第壹本會說話的書，此後大量出版。到1935年，隨著美國國會向其盲人公民免費提供有聲讀物，有聲讀物的運作日益廣泛。到1992年，美國國家圖書館盲人和肢體殘障服務已為70多萬盲人及殘障人士提供了數百萬免費的有聲讀物。
20世紀80年代，隨著便攜式磁帶錄音機的普及，磁帶稱為有聲讀物的主要載體。壹些作家註意到有聲讀物的潛在價值，陸續出版了他們的有聲作品，從此作家和出版商意識到決定銷量的並不僅僅是印刷書籍。 到了80年代中期出版音頻業務增長到每年數十億美元的零售額。隨著互聯網寬帶技術的發展、新的壓縮音頻格式和便攜式媒體播放器的出現，有聲讀物受歡迎的程度大大增加，這預示著網絡有聲讀物出版的時代已經到來。 如今，很多的電臺和網絡電臺成為了有聲讀物的制作方，並且這個市場也開始有越來越多的公司開始關註，慢慢進入正規化運作的軌道，像51聽書網、閱耳聽書、酷聽網、幻聽網、天方聽書等都已經開始正式運營有聲小說行業了。有聲小說的發展也促進了播音員的興起，目前網絡比較出名的播音員有；艾寶良，單田芳，李野默，青雪，馬路，晨誦無聲，原野，大灰狼，劉忙，高威，姍姍等等。