神乐署位于天坛外坛西南，是明清两朝培养乐舞生、演习祭祀礼乐的场所。神乐署建于明永乐十八年（1420），原名神乐观，明代神乐观内官员、乐舞生皆为道士。清乾隆七年（1742）改神乐观为神乐所，诏令严禁乐官习道教，全部道士被驱逐。乾隆十九年（1754）再改神乐所为神乐署，乐舞生选用年少俊秀的八旗子弟充任。民间又称神乐署为天坛南北廊。

历史上的神乐署建筑群，院落众多，各种房舍数百间。但是经过历史、战乱的侵蚀，大部分院落现已无存，只余中心衙署——神乐署。神乐署东向，为两重殿宇的三进院落，署院内正殿凝禧殿，是礼部太常寺官及乐部执事官生演礼演乐的处所。殿内悬乾隆御笔青地金书“玉振金声”匾，寓中和韶乐集众音之大成。凝禧殿后显佑殿，是供奉玄武神及北方七星的殿宇。整个院落前后均连檐通脊，廊房设有典礼署、奉祀堂、通赞房、恪恭堂、昭佾所、掌乐房、协律堂及袍服库等。

1900年八国联军侵占神乐署，将其辟为兵站。民国以后，神乐署先后被林业试验场和中央防疫处借用。抗日战争期间被日军占领，成为日军1855部队（防疫给水细菌战部队）总部驻地。日军还在此建筑日军宿舍、病房、工作室、储存各种剧毒菌种的地下冷库等。新中国建立以后神乐署一直被外单位借用，成为职工宿舍、食堂，乱象横生。2002年经过近20年的努力，神乐署终被天坛收回。2005年神乐署被辟为古代皇家音乐展馆开放，主要展示中国古代宫廷祭祀礼仪音乐——中和韶乐，从乐律、词曲、乐器、乐舞、服饰等方面对古代雅乐进行了全面展示和介绍。