西汉置皋狼县，东汉废。
西晋置左国城，属西河国。
北齐文宣帝时置良泉县。
北周静帝大象年间设窟胡县，属石州。
隋炀帝大业三年改名方山县。
唐高祖武德二年（619年）置方州。武德三年（620年）改属石州。贞观十一年（637年）仍属石州。
金宣宗贞祐四年（1216年）。
元世祖至元三年（1266年）方山县并入离石县，属石州。
民国七年（1918年）复置方山县，属冀宁道。
民国二十六年（1937年），属第四行政公署。
民国二十八年（1939年），属第二行政公署。
民国二十九年（1940年），方山县属四专区。
民国三十二年（1943年），方山县属晋绥边区三分区管辖。
1949年2月15日晋绥边区与陕甘宁边区合并后设晋西北行署，方山县属离石分区。
1952年7月1日，方山县归榆次专区。
1958年改名离石县，1971年5月1日恢复方山县。属吕梁地区。
2004年5月，吕梁撤地建市，方山县归离石市管辖至今。
