宋神宗元丰五年，北宋文豪苏东坡途经此地，有感于十里桃花，流下了“花发颜如醉，风吹面不寒”的千古绝句。后邑人沈明亦有《咏桃驿》诗：“春暖桃花驿，人耕红杏村。戌楼当寺静，涧水过桥浑。雨歇莺迁树，烟销客断魂。承平经百战，闲却几烽墩“。斗山铺便得名”桃花驿“。
明朝中期，有富户杨延松，豪爽好客，急人之急，修义仓，置义馆，办义学，建义桥，立义冢，凿义井，深受人民敬服，知府宋越为其挂匾，翰林王廷陈为其作《六义记》，江西参议茅坤为其立传。加之居民杨姓人口日渐增多，人称杨家店后简称杨店至今。据《孝感县志》载：自明朝以后，仅驿馆重建就达三次。
清顺治十七年（1660年）七月，孝感知府张擢士重建斗山公馆，在东门修谯楼，设巡检司衙门，建大戏楼。时已有东、西、正、中、北五条街道，镇周围筑有护城墙，立有胜利门（东）、道和门（南）、朝阳门（中）、承恩门（北）、长乐门（西）五门，商业、服务业、手工业都很发达。太平军攻克杨店时，护城墙和驿馆被毁。
民国二十九年（1940年），日寇入侵加上土匪蹂躏，大戏楼被毁，当时四根大柱不倒，人称“虎死不倒地”，同时被毁的还有护国寺。
