阿城是一座有着丰厚文化积淀的历史名城。距今约一万年的旧石器时代晚期起，就有人类劳动、生息和繁衍在今天的阿什河流域。先秦时期，阿什河流域是肃慎人居住和活动的地带。从西汉中期至两晋，肃慎改称为挹娄，隶属夫余国。北魏太和十七年，夫余人为勿吉人所逐。阿什河流域是安居骨部勿吉人活动的中心地区。
    唐中期阿什河流域为渤海王国属境。后为契丹人所灭。从契丹族的兴起到辽朝的建立，黑龙江各族大部分被辽征服，在动乱中各族有了分化，出现了女真族。辽朝天祚帝耶律延禧天庆五年，阿骨打称帝，国号大金，奠都会宁即今阿城市城南4里许。
    金共历九帝，前后一百二十年。从金代鼎盛时期的疆域图(上图浅黄色的区域就是金朝的疆域)可以看到：东北到日本海、库页岛（今俄罗斯鄂霍茨克海），北到外兴安岭（今俄罗斯远东地区），西北到蒙古国，西以河套、陕西横山、甘肃东部和西夏交界，南到秦岭、淮河与南宋对峙。 人口4470余万。金代文化虽然保留和吸收了女真族的某些文化传统，但基本上是继承辽、宋的汉族文化。 金国于天兴二年(公元1234年)在蒙古军与宋军联合进攻下灭亡。

阿城素有“女真肇兴地，大金第一都”之称。金都会宁，系金朝早期都城。初为州，太宗时升府，熙宗时定上京之号，领有会宁、曲江、宜春三县。公元1115年，女真人首领完颜阿骨打在今阿什河畔建都立国，上京会宁府先后历太祖、太宗、熙宗、海陵王等四帝。金朝政权在这里虽历四帝、凡38年，却是阿城历史发展的重要阶段。贞元元年，即公元1153年，金王朝迁都燕京（今北京），开创了北京作为历朝都城的先河。元顺帝时期，金上京会宁府故址为镇宁州。明后期，金上京会宁府故址一带为女真栋鄂部的一支居位。清初，称金上京会宁府故址为翁鄂洛城。顺治元年，清朝迁都北京后，为抵御外来的侵略和加强对东北地区的开发和统治，雍正七年，协领衙门移驻新城即今阿城，新城名阿勒楚喀。
    在长达一个世纪的阿勒楚喀副都统衙门时期，由于阿勒楚喀地理位置重要、自然条件得天独厚以及关内移民的逐年增加，经过汉、满及其他兄弟民族的共同开发，使阿勒楚喀的经济、文化、教育等项事业都得以迅速的发展，并且在促进民族团结，抗击帝俄入侵，垦荒屯田，巩固边陲等方面都起过重要作用，是阿城建治前，继金代上京会宁府之后的又一重要历史发展阶段。宣统元年，裁撤副都统衙门，设阿城县，县名由阿勒楚喀城简化阿城。1932年被日本帝国主义侵占。1945年抗日胜利后，10月27日 成立阿城县民主政府。1948年1月5日 ，阿城县民主政府改为阿城县政府。
    1987年2月，经国务院批准，撤县建市，由省会哈尔滨市代管。2006年8月经国务院批准撤市设区，使哈尔滨的历史文脉延展了近千年。境内共发现包括金代文物在内的不可移动文物282处，其中国家级文物保护单位3处（金上京会宁府遗址、亚沟摩崖石刻、清真寺），2012年金上京遗址入选《中国世界文化遗产预备名单》。阿城还整理非物质文化遗产保护项目55项，其中省市级保护项目44项，曾先后被评为全国文化先进县、黑龙江省历史文化名城、中国版画艺术之乡，形成了独树一帜的历史文化优势。