夏、商属扬州地域，西周时属舒国，春秋时前属吴,后属越,秦
时属九江郡，西汉时属淮南国，东汉、三国、西晋时均属庐江郡。
东晋隆安至元兴年间（397—404）置大雷戍。义熙元年（405）始设新冶县，属豫州晋熙郡。清乾隆三十三年《望江县志》载：”皖出铁，有铁官。今怀西望北有古冶迹，武昌口有炼成墩，漳湖之表有炼成畈，椅子、磨叉间有坑矿，县名新冶，职此之由也。”
南朝陈天嘉年间（560—566）升新冶县为大雷郡，属江州。隋开皇十一年（591）改大雷郡为义乡县，属熙州。乾隆三十三年《望江县志》载：”陈、隋间，县有义士助国平时难，隋文帝旌为义乡。”开皇十八年（598）改义乡县为望江县，属同安郡。县城东南的宝塔河一带曾是长江故道，登城中钵盂山，可一览江流之胜，故名望江。
唐武德四年（621）改望江县为高州，属舒州同安郡。武德七年改高州为智州，属淮南道同安郡。至德二年（757）废智州复望江县，属淮南道盛唐郡严州。
北宋至道初（995—997）望江属淮南路舒州。政和五年（1115）属淮西路德庆军。
南宋绍兴十七年（1147）望江属淮西路安庆军。庆元元年（1195）属淮西路安庆府。
元至元十四年（1277）改府为路，望江属蕲黄宣慰司安庆路，至元二十三年（1286）废司置省，望江属河南江北行省安庆路。明洪武初望江属南京宁江府，洪武六年（1373）属南京安庆府。
清顺治二年（1645）望江属江南省安庆府。康熙六年（1667），江南省析为安徽省和江苏省，望江属安徽省安庆府。
民国元年裁府，望江直属安徽省。
民国3年，属安徽省安庆道。
民国17年废道，属安徽省。
民国21年属安徽省第一行政督察区。
民国34年属安徽省安庆专员公署。
民国28年（农历正月初二），日本侵略军占领县城，县治迁
至长岭铺。同年5月20日因日机袭击又迁至南西乡金氏宗祠，民国29年迁泉塘寺，民国30年迁鹧鸪山前的金氏宗祠，民国32年11月再迁老鸦滩的吴氏宗祠，民国34年抗日战争胜利后迁回，至今，县治一直稳定未变。
望江建县后疆域比较稳定，最大变化要数中国共产党领导的皖西行署所建的太望县。自民国36年（1947年）至38年3月底撤销，仍恢复旧疆域。在近代比较大的变化是民国25年7月，国民政府行政院副院长孔祥熙为处理皖、豫、赣3省边界插花地，而将属江西彭泽县的长江北岸的新彭、龙泽、白沙、江调、同陆5个保划入望江县。
1957年因皖河联圩，将望江县新坝乡两个村（4000亩）划入怀宁县皖河乡；将怀宁县江镇乡1个村民组（面积200余亩）划入望江县金堤乡，将望江县金堤乡上陌村（800人，3000亩）划入怀宁县江镇乡。同年，因兴建褒隐寺水库，将太湖县转桥先锋村（1081亩及山地）划归望江县码头乡。
1959年2月26日，中共安徽省委决定，将望江、怀宁县合并，组建怀望县（驻石牌镇）。3月22日，国务院正式批准，但因未实行，故县疆域仍无变化。这个实际上不存在的旧区划，于1961年12月5日，国务院正式予以撤销，仍为两县。
