1901年（清光绪二十七年），中东铁路通车设站，称“十站”。中华民国时期，属宁安县管辖。
1925年曾划给穆棱县，1929年又划回宁安县。东北沦陷后，1933年设磨刀石保，1939年改设磨刀石村。同年10月，划归穆棱县管辖。
1945年“九三”抗日战争胜利后，1946年4月设磨刀石乡，由县直辖。
1947年1月，设置磨刀石区。
1948年春，划归牡丹江市管辖。中华人民共和国建立后，1949年11月，划归穆棱县管辖，划为第七区。
1951年4月，将所属青梅村、福长村和四道岭子村划归牡丹江市管辖。
1956年3月，撤区划乡，设置磨刀石乡。
1958年9月，改称磨刀石人民公社。
1984年8月，改为磨刀石乡。
1985年3月，撤乡设镇，改为磨刀石镇，2010年6月划入牡丹江市阳明区。
