与龚自珍是诗友，龚氏写成这首“情诗”不是给她还能给谁？
但风波就是从这里开始的。当年受到过顾太清讥讽的杭州文人陈文述这时到了京城，他也看到了这首“己亥杂诗”，他没从诗中品出什么意境，却找出了一些微妙的把柄；大家都默认诗中的“缟衣人”是顾太清，而顾太清又名“春”，诗言“梦见城西门苑春”，表面上是梦见丁香花，可骨子里谁知不是梦会顾太清呢？恰好龚自珍在写了这首“已亥杂诗”后不久，又有一阕记梦的“桂殿秋”词传世，词云：…,
明月外，净红尘，蓬莱幽谧四无邻；九霄一脉银河水，流过红墙不见人。惊觉后，月华浓，天风已度五更钟；此生欲问光明殿，知隔朱扁几万重。
当时那位陈文述看到之后如得至宝，觉得这根本就是龚自珍和顾太清月夜幽会的写照。
他将忆丁香花的诗和记梦的词妙巧地联系起来，再稍加注释，就制成了龚自珍与顾太清偷情的凿凿铁证。很快，京城里流传开了有关顾太清与龚自珍的绊闻，人们对这一类的消息本是十分热心的，再加上一些无聊文人的煽风点火，很快就将事情编造得有滋有味，有凭有据。
不怕你龚自珍、顾太清能妙笔生花，就算你有一万张嘴，这种事情总是说不清。于是流言飞语、指责叱问向他们袭来，让他们毫无招架之力。最后，龚自珍被逼得无安身之处，只好带着一车书，郁郁地离开了京城。龚自珍一走，似乎传闻更成了事实，顾太清有口难辨，终于被奕绘与妙华夫人所生的儿子载钧逐出王府，在西城养马营租了几间破旧的屋子，安置自己和一双可怜的儿女。
当时龚自珍却倒了大霉，久任京官的龚自珍突然辞职南行，“不携眷属，独雇两车，以一车自载，一车载文集百卷，夷然傲然，愤而离京”。他自谓出走理由是“罡风力大簸春魂”，意思是高空的强劲风力簸荡春魂，使之惊恐不安，借喻仕途凶险。有人说，这其实是打马虎眼，他逃之夭夭，是因为京城有人要索他的命。龚自珍孤身逃亡江东，路费不足，只好到处蹭饭，好在他文名大，朋友多，还不至于吃闭门羹。其《己亥杂诗》中有句“侥幸故人仍满眼，猖狂乞食过江淮”，即描写这段不堪回首的经历。
但是更加倒霉的事情还在等着他，据他的儿子龚橙，也就是龚孝琪说：““……有一天，有个老仆送来密缝小布包一个，我老子拆开看时，内有一笺，笺上写着娟秀的行书数行，记得是太清笔迹：‘我曹事已泄，妾将被禁，君速南行，迟则祸及，别矣，幸自爱。’
我老子看了，连夜动身向南。过了几年，倒也平安无事，戒备之心渐渐忘了。不料那年行至丹阳，在县衙里遇见一个宗人府的同事，便是他当年的赌友。那人投他所好，和他摇了两夜的摊，一夜回来，觉得不适，忽想起才喝的酒味非常刺鼻，道声‘不好’，知道中了毒。”结果就此暴卒！
龚自珍就这么被毒死了，据说主使的就是奕绘的正室的儿子，嫡子载钧。人家是皇亲国戚，龚孝琪自然斗不过。所以就一心要给自己老子报仇