设置驿站，为“布海（布特哈——海伦）官道”第三站，故又称“三站”。
“克山”之称，始于中华民国初年，设立克山设治局时，取境内克尔克图山（二克山）命名“克山设治局”，镇名 因袭县名。
清初，克山一带为鄂伦春、鄂温克、达斡尔等游牧民族的狩猎区，归布特哈总管管辖。
，1906年（清光绪三十二年），隶属东布特哈总管管辖。
1909年（清宣统元年），“布海官道”修竣后，在今克山镇设第三站，翌年改隶讷河直隶厅管辖，由于居民增 多，工商业逐渐兴起。
中华民国成立后，1913年讷河县于此设置察霍镇。
1914年丈放街基，规划为长、宽各“三里三”的正方形街基。
1915年3月，划归克山设治局，同年8月改隶克山县，遂为县城。
1922年修筑城墙，周长6.6公里，城外挖有护城壕。
1929年全县划分为5个大区，属第一区境内。
东北沦陷后，1933年设县城保，1938年改设克山街。
1945年“九三”抗日战争胜利后，1946年将克山街划为第一区、第二区和城郊区。
1948年8月，将县城内第一区与第二区合并为城关区，1952年改为第一区。
1955年5月，改为城关镇，同年10月改为克山镇。
1958年9月，改称克山镇人民公社。
1980年恢复克山镇名称。
