春秋战国时期为鳖国地。秦时以鳖国地置鳖县，包括现今遵义、绥阳、桐梓县等。唐初，先后名为建安县、恭水县、罗蒙县。唐贞观十六年（642年）改罗蒙县为遵义县，遵义县名从此开始。宣和三年（1121年）废遵义军，置遵义县。
元至元二十八年（1291年）置播州总管府，属播州军民安抚司。明洪武五年（1372年）改播州总管府为播州长官司。属播州宣慰司。明万历二十九（1601年）改播州长官司为遵义县，属四川遵义军民府。清雍正六年（1728年）随遵义府改隶贵州。
民国元年（1912年）将遵义县并入遵义府，后撤府复县。
1950年属遵义专区，同年遵义市、县分开。
1951年将遵义市并入。
1952年又与遵义市分开。
1958年撤县并入遵义市。
1961年8月16日，恢复遵义县建置。
1992年前，辖新新虾茅，高山板松，鸭枫泮，龙团尚，南三乌17个区，141个公社（镇），696个生产大队，9271个生产队，辖区面积4092.66平方公里。
1992年撤并建，辖38个镇乡.
1997年遵义撤地市后、新蒲镇、深溪镇、金鼎山镇并入红花岗区。
2003年高坪镇、泗渡镇、板桥镇、团泽镇4个镇划入遵义市汇川区。
2009年新蒲新区正式挂牌成立、新舟、虾子、永乐和三渡划给新区代管。
2016年3月，《国务院关于同意贵州省调整遵义市部分行政区划的批复》（国函〔2016〕56号）：一、同意撤销遵义县，设立遵义市播州区，以原遵义县（不含山盆镇、芝麻镇、沙湾镇、毛石镇、松林镇、新舟镇、虾子镇、三渡镇、永乐镇、喇叭镇）的行政区域为播州区的行政区域，播州区人民政府驻南白镇西大街53号。二、同意将原遵义县的山盆镇、芝麻镇、沙湾镇、毛石镇、松林镇划归遵义市汇川区管辖。三、同意将原遵义县的新舟镇、虾子镇、三渡镇、永乐镇、喇叭镇和遵义市汇川区的北京路街道划归遵义市红花岗区管辖。
