作家劉知俠似乎生來就是要與鐵道遊擊隊結緣的。
1918年，他出生在河南省汲縣（今衛輝市）壹個貧困的鐵路工人家庭，父親是鐵路道班房裏的護路工，道清鐵路就從村邊經過。天天看著火車飛馳、在鐵道旁撿煤核的他，很早就學會了扒火車。十幾歲時，劉知俠當過火車站的義務服務生，對鐵路職工、行車制度都了若指掌。1938年到1939年，他又曾隨抗大壹分校兩次深入敵後體驗生活。這壹切，都為他創作《鐵道遊擊隊》打下了基礎。
據劉知俠的夫人劉真驊回憶，劉知俠與鐵道遊擊隊的首次親密接觸緣於壹次英模大會。“1943年夏天，山東省軍區召開全省的戰鬥英雄、勞動模範大會。知俠所在的《山東文化》編輯室的同誌都投入了這壹工作。就是在這次英模會上，他認識了鐵道遊擊隊的英雄人物，了解了他們感人至深的抗敵事跡，知俠當即產生了強烈的創作欲望。 ”
1944年和1945年，劉知俠又兩次冒著生命危險越過敵人的封鎖線，同遊擊隊員們生活和戰鬥在壹起，積累了豐富真實的創作素材。1946年，正當他要動手寫作時，解放戰爭爆發，他受命執行新的任務，創作壹直擱置到1952年。那年，時任山東文聯編創部部長的劉知俠請了壹年長假，在濟南大明湖畔趕寫《鐵道遊擊隊》。
寫這部書，讓只有初中學歷的劉知俠頗費周折。在《鐵道遊擊隊創作經過》中，劉知俠曾這樣寫道：“我事先剖析了壹遍《 水滸傳》，在寫作上註意以中國民族文學的特點來刻畫人物，避免壹些歐化的詞句和過於離奇的布局和穿插，把它寫得有頭有尾，故事線索鮮明，每壹個章節都有壹個小高點。”
十年磨壹劍，鞘出誰爭鋒。從1943年邂逅，到1953年成書，劉知俠整整用了10年時間。