人类始祖伏羲氏因蓍草生于蔡地而画卦于蔡河之滨，遂名其地为蔡。公元前11世纪，周武王封其弟叔度于蔡，建立蔡国，以国为氏，传18代近500年，史称上蔡。后屡受楚国侵犯，一再迁都，初平侯迁至新蔡，后昭侯迁至州来（今安徽凤台），改州来为下蔡。
秦于此置上蔡县。汉初为汝南郡治所。南朝宋移治是动城，故址在今汝南。北魏神龟二年（519）改置临汝县，北齐废；隋开皇六年（586）又置武津县；大业间复置上蔡，临汝、武津先后省入，至此上蔡之名遂不变。隋属汝南郡，唐属蔡州，元至明清均属蔡州。
民国初，属汝阳道。建国后，属信阳专区，1965年改属驻马店专区。
