西汉初建县，因在蒙山之阴而得名，
隶属兖州泰山郡。王莽篡位后，曾改称蒙恩县。
东汉初，地属盖、牟二城。
三国魏复置蒙阴县，属徐州琅邪郡。
西晋末因战乱废。
南北朝时，北魏于蒙阴地置新泰县，属南青州东安郡。
东魏时，东安郡之新泰县改称蒙阴县，仍属东安郡。
北齐将蒙阴县并入东泰山郡之新泰县。
自此经隋、唐五代直至南宋景定三年，共712年，都属新泰县。
南宋景定三年（1262年），蒙阴地又由新泰县划入沂水县，称新泰镇（旧蒙阴县志叫新寨镇）。
元皇庆二年（1313年），重建蒙阴县，属益都路莒州。另据《重建蒙阴县碑》载，重建蒙阴县为元延佑二年。
明洪武二年（1369年），属青州府。
清雍正八年（1730年），改属莒州。
雍正十二年（1734年），属沂州府。
民国二年（1913年），废府设道，蒙阴县属济宁道。
民国十四年（1925年），
改属琅琊道。
民国十七年（1928年），废道，直属于省。
民国二十五年（1936年），属山东省第三区行政督察专员公署。
民国三十年（1941年）9月，将原蒙阴县的大部分地区划为新蒙县、泰宁县、博莱县。蒙阴县属鲁中区二专区。
民国三十二年（1943年）3月，蒙阴县撤销，同年9月恢复，仍属二专区。
1947年，蒙阴县更名为灵甫县。
1949年，恢复原名。
1949年7月，属沂蒙专区。
1950年6月，改属沂水专区。
1953年8月，属临沂地区。
1994年12月，临沂撤地设市，仍属临沂市，至今。
