Alan Lloyd Hodgkin和Andrew Huxley在1952年提出了第壹個脈沖神經網絡模型，這個模型描述了動作電位是怎樣產生並傳播的。但是，脈沖並不是在神經元之間直接傳播的，它需要在突觸間隙間交換壹種叫“神經遞質”的化學物質。這種生物體的復雜性和可變性導致了許多不同的神經元模型。
從信息論的觀點來看，找到壹種可以解釋脈沖，也就是動作電位的模型是個問題。所以，神經科學的壹個基本問題就是確定神經元是否通過時間編碼來交流。時間編碼表明單壹的神經元可以取代上百個S型隱藏層節點。