汾阳始建于春秋初期，为瓜衍县，属并州。
战国属赵，为兹氏县。
秦汉时期仍名兹氏县（今市区西南8千米巩村），属并州刺史部太原郡。
新莽改兹同，东汉复旧。
三国魏黄初二年（221）兹氏县治徙今市区，且为西河郡治。
西晋改为隰城县，改郡为西河国。永嘉末年陷废。
北魏太延年间置什星军，后废。太和八年（484年）复置隰城县及西河郡，隶汾州。孝昌年间汾州自今交口县境徙此。
东魏天平二年（535年）于今市区南8千米东阳城村侨置灵州和真君郡。武定四年（546年）于今市区东南8千米团城村置武昌郡。
北齐改汾州为南朔州。
北周废灵州，改南朔州为介州。
隋大业中年改介州为西河郡。
唐武德元年（618年）改西河郡为浩州，三年复为汾州。天宝元年（742年）改汾州为西河郡。乾元元年（758年）复为汾州。上元元年（760年）改隰城县为西河县，属汾州。
宋属河东路。
金属河东北路。
元属冀宁路。
明洪武元年（1368年），省西河县置汾州（直隶州），兼领平遥、介休、孝义三县。万历二十三年（1595）升汾州为汾州府，依廓设汾阳县，府属冀南道，府、道治所皆驻县城内。
清康熙六年（1667年）冀南道废，入冀宁道。
民国年间废府、道，县直属省。
民国29年（1940年），属晋西北行署第八专区；民国32年（1943年），属晋绥边区行署第八专区；民国34年（1945年），属晋绥边区吕梁行署七专区；民国37年（1948年），县划属华北区晋中专区，同年7月，汾阳全境解放。
1949年属汾阳专区，为专署驻地。
1951年废汾阳专区，县改属榆次专区。
1958年属晋中专区。
1970年属晋中地区。
1971年5月划归新成立的吕梁地区。
1996年8月20日，经国务院批准，汾阳撤县设市，为县级市。
2003年10月23日，国务院批准撤销吕梁地区，设立地级吕梁市，县级汾阳市改由山西省直辖、地级吕梁市代管。
