战国时，先属费国、鲁国，后属齐国。
西汉以后，属兖州泰山郡。
598年（隋开皇十八年），属颛臾县。
627年（唐贞观元年），撤颛臾县并入费县，柏林亦入费县，此后历经五代十国、宋、元、明、清，至民国。
1896年（光绪二十二年），费县下设柏林社。
1928年8月，为费县四区柏林乡。
1940年6月，中共山东分局，以费县境内西部滋(阳)临(沂)公路线段为界，路北置费北县，属之。
1945年1月，新置费北县柏林区。
1946年1月，撤销费北县、费东县，合置蒙山县，为第三区柏林乡。
1952年3月，蒙山县撤消，柏林乡归平邑县，属十一区。
1955年11月1日，各区改为以驻地命名，十一区改固城区。
1958年冬，改新华公社。
1959年3月7日，改柏林公社，撤销元帅公社并入柏林公社。
1961年5月，改柏林区，辖武安、柏林、杨谢、孝义、固城等5处公社。
1971年4月20日，恢复柏林公社。撤销原区公社，改为生产管理区(简称管区)，柏林公社增建花园管区。
1977年，柏林公社辖柏林、武安、杨谢、孝义、固城、花园等6处管区。
1984年4月15日，实行“政社分开”，改变人民公社、生产管理区体制，实行区乡建制；4月15日，改柏林区，辖柏林、宋合、固城、孝义等4个乡。
1985年8月31日，改柏林乡。
1993年7月1日，改柏林镇。
2012年2月8日，临沂市政府将该镇原有25个行政村中17个靠近蒙山的村划归临沂市蒙山管委会、另外8个地缘上不靠蒙山的村被划归温水镇，另将保太镇若干村庄划入，共计38行政村。
