故宫是明清两代的皇宫，皇上、皇后、嫔妃、皇子、公主居住都有严格的等级制度，作为将来继承大统的皇子皇孙们居住生活在紫禁城的哪个地方？“阿哥”，乃满语皇子之义。阿哥所，即皇子的住所。他们既不住在前朝，也不住在后宫或东西六宫，而是住在外朝东路的阿哥所。
明代皇子居于撷芳殿
明代皇子们居住在位于东华门和文华门之间的撷芳殿。往北约80米，有从文渊阁蜿蜒流出的内金水河，河上跨白石桥3座，过桥往北有随墙琉璃门3座，明代称前星门，俗称三座门儿。过三座门儿约50米，有巨大的琉璃影壁一座。绕过大影壁，有一座三开间的王府式大门，门楣上没有匾额，进门有三组四合院。总称为撷芳殿。在《紫禁城全图》上称此地为南三所，也就是清代阿哥们居住生活的地方。
这里，在明代为太子所居。《明史·五行志》载：“嘉靖十年正月辛亥（1531年2月12日），大内东偏火。”《典故纪闻》称：这次火灾“延烧东西十四连房俱烬”。这里所记载的“大内东偏”、“十四连房”，就是指当时紫禁城外朝东路供皇子们居住的地方。所谓“连房”就是接栋连楹的并排筑成的居住性建筑，其建筑规格等级稍逊于内廷前朝后宫、东西六宫的建筑。由于是木质结构的，易于燃烧，防火分隔也较差。失火后，很快就被“火烧连营”。 失火重建后改称端本宫
火灾之后，嘉靖皇帝亲自到火场考察，并对大学士张聪说：这种接栋连楹的木结构建筑格局不好，还是南京的以砖石为主体的建筑格局好。以后改建时，一定要仿照南京宫殿之制建设，以有利于防火安全：“宫中建筑接栋连楹，弊端颇多，当修防火墙，开辟防火通道才是”。遵照皇帝的谕旨，工匠们在火场废墟上建成宫殿式建筑，防火功能有所改善。初称撷芳殿，是慈庆宫范围之一部分，明末改称端本宫。
《日下旧闻考》卷三十五记载：“端本宫在东华门内，即端敬殿之东，前廷甚旷，长数十丈，左为东华门，右为文华门……天启末，懿安张皇后移居于此，名慈庆宫。其外为徽音门，壬午八月，懿安移居仁寿殿，因改为端本宫，以侍东宫大婚。宫门前三石桥，盖大内西海子之水蜿蜒从此出焉。皇太子原居大内钟粹宫，在坤宁宫之左，既渐长，当移居，上以慈庆宫为皇考旧居，其后勖勤宫即上旧居也……端敬殿与端本宫今改为三所，为皇子所居。”
清代阿哥们改居“南三所”
据乾隆三十一年(1766年)内务府奏销档记载：“三所房间系乾隆十一年三月内兴工，次年工竣。迄今二十年，未加维修，殿宇头停、配殿天沟、俱有渗漏，板墙槽朽，天花坍损，油饰爆裂。又因阿哥等于二十六年移出之后，其外围茶房、值房等项房屋，俱改为各处值房。今遵旨修理，给阿哥等居住。所有应用炉灶、炕铺、装修、隔断等，应照旧式修理应用，是以共估需工料银3900余两。”从这项档案记载可以证明：阿哥所是在明撷芳殿旧址上建起来的，建设年代应为乾隆十一年(1746年)。建筑用途：供阿哥居住。乾隆三十一年维修时，花费白银3900两，均依旧式。今日阿哥所的建筑格局，依然保持着乾隆时代的风貌。
由于阿哥所是由三个三进四合院组成的，故名。三所共走宫门一座，门三间，绿琉璃瓦歇山顶式，门内自东向西依次排列三个所，各有一个随墙琉璃门。每所三进院，三所各有前院正殿三座，各三间，中院正殿三座，各三间，后院正殿三座，各五间，共有东西配殿十八座，各三间，顺山房六座，各两间，每所中院正殿前井亭一座以及值房、膳房、净房等殿宇间数总计二百余间。
嘉庆道光咸丰都曾居于“阿哥所”
紫禁城内殿宇顶大多覆盖黄琉璃瓦，唯此处用绿琉璃瓦，规格稍逊，以示皇子所居之处。乾隆十九年添盖后罩房三座，灰瓦顶，嘉庆皇帝于乾隆四十年至六十年(1775年至1795年)曾居于此，道光帝和咸丰帝也曾在此居住过。宣统时，曾为摄政王载沣随时起居之所，建筑至今保存完好。因为历史的原因，阿哥所的建筑都是木质结构的，防火性能不佳，但是，每栋殿宇的左右都采用防火山墙，后山墙均采用封火檐。前殿、中殿和后殿之间，各保持25米的安全距离，东西配殿之间各保持30米的安全距离。每个院落各有水井一眼，铜质大型消防水缸6口。紫禁城内共有水井37眼，大型消防水缸309口，这里就有水井3眼，水缸18口，可见当时对阿哥所防火的重视。因为，贮备水是当时最扎实的防火措施。
在三组三进四合院中，主殿的屋顶上都设置有龙形吻兽——传说中的镇火之物，后墙之外有九龙壁，面对皇极门，九龙壁东西侧各有一座琉璃门，是阿哥所的后门，平时闭而不开，是万一遇到非常情况时的安全出口。
故宫消防中队所在地原为上驷院御马监，是为皇帝和皇子养马的马厩。对过的一片房子原为御药房，药王殿是御医值班的地方，皇上皇子身体欠安时到此抓药。阿哥所的门禁很严，除了阿哥的老师、御医、侍卫外，常人不许擅入。二门外的一排房子是侍卫值房，昼夜有人值班巡逻。小心用火，作为常规。