战国公元前309年，秦武王派兵南下，灭掉开明氏原管辖地区统治，秦国在今乐山市市中区建立南安县，从陕西泾水地区迁来大量人口到青衣江流域定居。
公元前256年，李冰组织乐山人民凿断凌云山崖，开出引水渠道。从此，岷江，大渡河在乐山一带的水上航运逐步发展起来。
汉朝将南安隶属于犍为郡。西汉文帝时，南安人邓通铸造钱币，有“邓氏钱布天下”的说法。
三国时期，蜀国丞相诸葛亮在犍为铁山冶铁制造武器、工具等，乐山的冶炼规模和技术已达到先进水平。
魏晋南北朝，东晋末年，南安设置治官县，重点对迅速发展起来的冶铁业实行管理。这一时期，原来居住在广西、贵州、云南一带的十多万僚人进入四川，乐山犍为铁山以及三江流域聚居了大批僚人。居住生活延续了二百多年。
南北朝时期，因战乱不断，乐山地区的建制屡有变迁。
北周时置嘉州，取“郡土嘉美”之意。在乐山设置平羌县管理僚人。
隋朝置眉山郡。原南安县改名龙游县，传说是隋朝军队从成都乘船向乐山进军、追击陈国败兵时，岷江中有游龙导航，帮助隋朝军队统一天下，因此改南安为龙游。中央政府在乐山增设夹江、峨眉两县。此时，乐山能造黄龙大船，成为四川江河沿岸的重要造船基地。
唐复嘉州，眉州。种茶业已十分发达。岑参赋诗描述嘉州城外“田半种茶”。唐朝中期开凿了举世闻名的乐山大佛。
两宋宋朝改嘉州为嘉定府；
元代改为嘉定路；
明代改为嘉定州；
清雍正十二年（1734年）升嘉定州为嘉定府，并在府治置乐山县，取“城西南五里有‘至乐山’”为名，改龙游县为乐山县，“乐山”之名沿用至今。
元朝设置马湖路，明朝设置沐川司，清朝设置马边厅、峨边厅。
中华民国废州府，治地设乐山行政督察专员公署。
新中国成立后，设乐山专员公署。
1950年置乐山专区。
1968年改为乐山地区。
1978年乐山县与五通桥区合并改为乐山市（县级），仍隶属于乐山地区。
1985年，撤销乐山地区建地级市。
1997年行政区划调整，眉山等6县划出。
