建县后属歙州。宋宣和三年（1121），改歙州为徽州，祁门县属徽州。元至元十四年（1277）升徽州为路，祁门县属徽州路。元至正十七年（1357），改徽州路为兴安府，祁门县属兴安府。至正二十四年（1364）改兴安府为徽州府，祁门县属徽州府。
民国元年（1912）废府存县，祁门县直属省辖。
民国3年，祁门县属芜湖道，民国17年废道，祁门县复由省直辖。
民国20年施行首席县长制，徽州首席县长驻歙县，兼管祁门。
民国21年，祁门县属安徽省第十行政督察区。
民国29年8月，祁门县属皖南行署第七行政督察区。
民国34年撤销皖南行署，祁门县属安徽省第七行政督察区。
1949年祁门解放，5月属徽州专区。
1956年1月徽州专区撤销，祁门县改属芜湖专区。
1961年4月重设徽州专区，祁门县复属徽州专区。
1971年3月改专区为地区，祁门县属徽州地区。
1988年元月，徽州地区撤销，新置黄山市，祁门县隶属黄山市。
