Город Хуаншань был основан по указу Госсовета КНР в ноябре 1987 года. Предшественником города был район Хуэйчжоу. Сегодня в состав города Хуаншань входят три района (Тунси, Хуаншань, Хуэйчжоу), четыре уезда (Шэсянь, Сюнин, Цимэнь, Исян) и природная зона Хуаншань. Органы муниципальной власти города Хуаншань располагаются в районе Тунси.

История Хуаншаня насчитывает уже 6 – 7 тыс. лет. Примерно в 51 веке до н.э. на исходе периода матриархата на этой благодатной земле уже жили и трудились люди. В эпоху Весны и Осени и Воюющих царств территория, на которой разместился нынешний Хуаншань, принадлежала княжеству У. Когда пало княжество У, вся территория досталась княжеству Юе, а впоследствии – княжеству Чу. Эти земли были присоединены к уезду Хуэйцзи после объединения императором Циньшихуаном шести княжеств и создания им уездно-областной системы. В период Южных династий здесь образовался уезд Синьань. В древности Хуэй называли Синьань, по названию уезда. В 1121 г. (эпоха династии Сун, девиз царствования “Хуэйцзун”) уезд Ичжоу по императорскому указу был переименован в Хуэйчжоу. В шестом году правления императора династии Цин Канси (1667 г.) первые иероглифы двух округов – Аньцин и Хуэйчжоу – были использованы для названия новой провинции Аньхой.

Аньхойская культура отличается богатым содержанием и древней историей, является одной из культур трех больших регионов (тибетского, дунхуанского и аньхойского), и охватывает многие сферы: философию, экономику, историю, медицину, науку, искусство. Каждый раз, когда на обширной территории, раскинутой в среднем и нижнем течении реки Хуанхэ, зарождались войны, Аньхой становился местом укрытия различных видных деятелей, ученых и талантов. В древнем Хуэйчжоу процветали различные виды искусства, было очень развито образование. По неточным историческим данным, в период династий Мин и Цин, среди выходцев из Аньхоя было 542 цзиньши (название ученой степени, присваемое после столичных экзаменов), 1 513 цзюжэней (название ученой степени, присваемое после экзаменов в провинции). В период династии Мин и Цин на протяжении 200-300 лет в сфере торговли Китая господствовали аньхойские купцы, о чем свидетельствует поговорка тех времен: “Базары не обходятся без аньхойцев.” Изобретатель печатного дела с помощью наборного шрифта Би Шэн, последователь неоконфуцианства, мыслитель эпохи династии Сун Чжу Си, баснословно богатый торговец солью Бао Шуфан, известный театровед Ван Даокунь, основатель школы живописи Синьаньхуа и ее последователи Цзянь Цзян, Хуан Биньхун, финансист Ван Маоинь (единственный китаец, упомянутый в труде К. Маркса “Капитал”), педагоги, ученые новой эпохи - Тао Синчжи, Ху Ши, известный инженер Чжань Тянью – все они выходцы из Аньхоя. Во времена процветания аньхойских торговцев сформировались аньхойские школы и течения неоконфуцианства, медицины, живописи, искусства создания миниатюрных пейзажей в цветочных горшках, каллиграфии, архитектуры, граверного искусства, театра, кухни. На территории Аньхоя обнаружено свыше 4 900 памятников истории и культуры, из них 45 охраняются государством и провиницей. Аньхой представляет собой огромный исторический музей.