战国初，越灭吴，于公元前468年徙都琅琊，今县域南部沿海一带属越，历224年。后越败于楚，地属楚。战国后期，县域全部属齐。
秦统一六国，境内设琅琊郡，并附郭置琅琊县，治所均在琅琊（今夏河城），县域属琅琊县。
汉承秦制，并增琅琊国、柜县和祝兹侯国治于境内；晋省琅琊，隋复置琅琊县；唐代又裁，境地归胶州、诸城，此后废置千余年。
1943年，建立抗日民主政府诸胶边办事处，1944年析置藏马、诸胶边两县，属滨海行署。
1946年9月，划
胶县洋河以南9区和青岛办事处的薛家岛区建立胶南县，属滨北专区。
1950年5月滨北专区撤销，藏马、胶南两县属胶州专区。
1956年3月藏马县并入胶南县。是年胶州专区撤销，胶南县属昌潍专区。
1958年10月胶南县改属青岛市，1961年4月复属昌潍专 ，1979年1月再度划归青岛市。
1990年12月18日，撤销胶南县，设立胶南市。
1991年1月14日，撤销海青乡，设立海青镇；撤销小场乡，设立信阳镇。
1992年12月28日，撤销隐珠乡，设立隐珠镇。
1993年10月26日,撤销寨里乡，设立寨里镇；撤销张家楼乡，设立张家楼镇；撤销藏南乡，设立藏南镇；撤销薛家庄乡，设立黄山镇。
1995年1月4日，将隐珠镇的广城、豆金河、两河、辛屯、山前、孟家滩、薛家滩、向阳岭、石咀子、烟台前、新建、孙家滩等12个村划出，设立灵海办事处，办事处机关驻上海路孟家滩村；撤销宝山乡、
胶河乡、铁山乡，设立宝山镇、胶河镇、铁山镇。
1995年4月28日，撤销胶南镇，设立珠海、珠山两个街道办事处。珠海街道办事处机关驻珠海路中心，珠山街道办事处机关驻原胶南镇人民政府驻地。
1996年4月26日，将原胶南市灵山卫镇的台子沟、八里庄、荒里、扒山、岔河、戴戈庄、两埠岸、王家港、花科子、薛辛庄、高家台、周家夼12个行政村划归原黄岛长江路街道办事处；将原胶南市红石崖镇的张戈庄、龙湾崖、郭家台子、法家园、管家洼、龙凤村、可洛石、龙斗山前8个行政村划归原黄岛区 黄岛街道办事处。
2001年，胶南市撤销灵山岛乡，合并到积米崖港 ；撤销塔山乡，合并到大场镇；撤销信阳镇，合并到泊里镇；撤销市美乡，原市美乡10个村合并到六汪镇，其余18个村合并到大村镇；撤销寨里镇，原寨里镇22个村合并到张家楼镇，6个村合并到藏南镇，5个村合并到琅琊镇；撤销黄山镇，成立黄山经济 ；撤销胶河镇，成立胶河经济开发 ；撤销灵海街道办事处；将琅琊镇部分村庄和原寨里镇的部分村庄划归琅琊台旅游度假 ，将珠海街道办事处的部分村庄和大珠山镇的部分村庄划归海滨工业园。全市由原来的27个乡镇街道办事处、经济 ，调整为19个乡镇街道办事处、经济区 。
2002年6月19日，胶南市撤销理务关乡，设立理务关镇；其行政区域和人民政府驻地不变。
2003年11月19日，胶南市红石崖镇划归青岛市黄岛区管辖。
2004年1月1日，红石崖镇整建制划归黄岛管辖；2005年5月，红石崖撤镇设立红石崖街道办事处。
2005年，胶南市撤销隐珠、灵山卫、铁山、大珠山四个镇，分别在原行政区域设立隐珠、灵山卫、铁山、滨海街道办事处，12月18日4个街道办事处正式挂牌成立。
2012年12月1日，按照国务院的批复，撤销青岛市黄岛区 、县级胶南市，设立新的青岛市黄岛区 ，以原青岛市黄岛区、县级胶南市的行政区域为新的黄岛区的行政区域。黄岛区人民政府驻隐珠街道深圳路181号。
