、广德堂、天德堂、瑞德堂等数家， 久而久之神乐署便成为北京的一大庙会， 一直繁盛到清朝初叶。
清乾隆年间因为发生游客翻墙进入天坛禁地的案件，神乐观被改为神乐署，庙会中止，原有的道士遣散，只保留了观中各大药铺，乐舞生也改由八旗子弟充任，仍然承担祭祀乐舞任务。
1900年八国联军进北京的时候，把神乐署当成了兵站。过了十四年，也就是1914年，袁世凯干脆下令迁出神乐署的所有药铺。此后林艺试验场、燕乐研究院、传染病医院、中央防疫处、生物制作所等机构先后占用神乐署作为办公地点。
小鬼子占领北平后，就把“北平甲第1855部队”司令部设在了神乐署，对外称华北方面军供水防疫处，开始打罪恶的细菌战。
华北方面军之所以建立北平甲第1855部队，主要原因是关东军731部队距离关内太远，细菌战剂运输困难，无法满足日军大规模细菌作战的需要。
“北平甲第1855部队”司令部进驻神乐署后，赶走周围的老百姓，霸占并拆除部分民居，修筑了7栋病房、100多间工作室、70多间小动物室和储存各种剧毒菌种的192平方米的地下冷库，建起了水塔、员工宿舍。
1941年元月20日，农历腊月二十三，小年夜，北平城里响着稀稀拉拉的鞭炮声。人知道，那是在日伪统治下混的比较好的人家在送灶王爷上天言好事去了。
神乐署大门口，一左一右各站着两个日军哨兵。可能是天气太冷，这一片又是连鬼影子都看不到，日军哨兵们隔一会儿就来回走动一下，交换一下哨位，跺跺脚。
一队牵着狼狗的日军巡逻队从神乐署大门口走过，皮靴踏在地上，咔咔作响。
隔了十分钟，又是一队牵着狼狗的鬼子巡逻队从神乐署门前走过。
就在这支巡逻队和下支巡逻队间隔中间，神乐署门口的四个鬼子哨兵几乎是同意时间软倒在了地上。很快，十几道黑影从夜色中闪出，以百米冲刺的速度冲到了神乐署大门口。当先四人一人提起一举鬼子哨兵尸体闪进了大门。时间不长，四个鬼子哨兵就又站到了哨位上。不用说，这是八路军特种兵伪装的。
与此同时，神乐署与天坛公园相隔的围墙上，飞起了一把把小铁爪，一个个矫健的身影借助铁爪的绳索，攀上了围墙，跳进了神乐署大院里。
霎时间，神乐署院内日军的几条军犬同时恶狠狠地叫了起来。
军犬一叫，神乐署院内的日军警卫队被惊动了，探照灯亮了起来，院子里响起了紧急集合的哨子声。
小鬼子被惊动了，很快可能就会响起枪声，偷袭变成了强攻。负责指挥的李凌风却出境不乱，一个个手语命令发出，战士们以战斗小组为单位，朝着响哨子的地方、狗叫的地方扑去。
听到狗叫和哨子声，正在下围棋的日军“北平甲第1855部队”部队长西村英二和技术指导石井四郎同时推开了棋盘，站起来大声喊卫兵，询问发生了什么事情。