秦庄襄王二年（前248年），属太原郡。
汉武帝元朔四年（前125年），置临水县，属西河郡。
王莽时期，临水县曾改监水县。
东汉，复名临水县。
东汉永和五年（公元140年）临水县并入离石县，仍属西河郡。东汉末，西河郡并入太原郡。
三国初，仍属太原郡。
魏黄初二年（221年），设置西河郡，仍属西河郡。
两晋时辖于离石，为匈奴占领。
十六国时期，属离石镇。
南北朝时期，北周时置乌突郡、乌突县。
隋开皇元年（581年），废郡，改乌突为太和。
大业三年（607年），改州为郡。临县属离石郡。
唐武德三年（620年），改太和县为临泉县，属石州。
宋仍称临泉县、定胡县，隶属石州，属河东路。
元符二年（1099年），改属晋宁军。
金天会元年（1123年），复名为临水县，废晋宁军，属石州。
蒙古中统二年（1261年），改临水为临泉，属太原郡。
元至元三年（1337年），升为临州。
明洪武二年（1369年），临州降为县，属太原府。临县之称由此而定，至今未变。
万历二十三年（1595），临县改属汾州府。
清因明制，县属汾州府，冀宁道。
民国废除府州，县直属山西省辖，境内实行区所制，划为东、南、西、北、中5个区。
民国二十九年（1940年），临县解放，成立共产党领导的抗日民主政府，临县划为10个区。同年10月，为抗日战争所需，将临县分为临县、临南两个县，临县设7个区，临南设5个区。
民国三十五年（1946年），临县，临南合并，仍称临县。
1949年新中国成立后，属兴县专署管辖。
1952年划归榆次专署（后改晋中专署）。
1971年组建吕梁地区，划归吕梁地区。
1984年4—7月，改乡（镇）村制。临县设10个镇，28个乡。
2002年撤乡并镇，全县设13个镇，10个乡。
2004年7月，吕梁撤地设市，仍由吕梁市管辖至今。
