1737年（清乾隆二年），奉天旗人来此垦荒，因其东北0.5公里处有一棵榆树，故得名“小榆树”。
隶属呼兰城正红旗。
1905年（清光绪三十一年），兰西设治时，小榆树已形成小集镇，有工商户52家，居民500余户，隶属南乡一区。
中华民国时期属三保。
东北沦陷后，改设榆林村。
1945年“九三”抗日战争胜利后，1946年将榆林村和朋来村合并设置榆林区，1949年改为第二区。
1956年6月，并村划乡，设置榆林乡，后改为榆林镇。
1958年8月，与城山、大房身乡合并成立榆林人民公社，1966年改称太阳升公社，1980年更名为榆林公社。
1983年8月，改为榆林镇。
