民国期间设过乡。山下乡革命斗争历史悠久，民国17年(1928)10月，闽北红色武装在山下消灭民团部，首次获得10支步枪。
民国35年，中共闽北地委迁驻铁坑坪洋村。
1950年10月全面建政时，山下划为第五区，下辖10个乡，驻地山下村。
1956年9月，撤区建山下乡，隶属临江区，1961年7月，成立山下公社，下辖10个大队、2684户、11414人。
1964年人口普查为11733人。
1982年人口普查为15525人。
1984年9月2日，改制为乡。
1985年5月10日，枫溪等7个村析出，山下乡改辖9个村委会、96个村民小组。
1990年人口普查为有9777人。其中畲族15人，瑶族1人，其余为汉族。2000年11月1日人口普查时有8249人。2000年末下辖9个村委会、96个村民小组，人口2498户、9823人，其中男性5319人，非农业人口293人。2005年，据县公安局提供资料，山下乡2797户，10207人，其中男性5457人。
