后又关到公安局看守所，审查进行了一年多，最后证明了他的清白无辜。
      王世襄在关押期间得了肺病，“取保释放”后，故宫却开除了他的公职。后来他进了民族音乐研究所，1954年，故宫想调回王世襄，被拒绝。
      不受节令限制的常年癖好是玩鸽子
      故宫开除了王世襄，使故宫失去了一位学贯中西、精力充沛、业务娴熟、甘愿奉献的领军人物；故宫开除了王世襄，却给中国、给世界逼出一位独一无二、百科全书式的民俗文物、文博大家。     
      王世襄一生都在收集玩物。
      他回忆解放初期收文物的情景。“我整天弄一个车，车后边有一个大架子。大桌子、椅子我都骑车子载回来。全北京城我到处跑，春节我还跑到京东宝坻县。大年三十晚上，在小店里睡觉。小店里很冷，没有火。我拿两只鞋，鞋底对鞋底一扣，放到炕沿上当枕头。只有这样，才能买到极便宜的物件。”
      当时很多文物都没人要，极为便宜，这给王世襄提供了优势。遇到贵的文物，他就用母亲留下的首饰换。
      至今，他收集文物的很多段子还广为流传。收藏家马未都曾回忆，王世襄有一张黄花梨方桌，购于北京通县，价格仅5元，舍不得运输费，自己一手扶车把，一手扶桌腿，将桌扣在背上，骑车运回家，因此获“穷王”美称。
      “文革”前，王世襄去黄山考察，挖到两棵松树，将它们从黄山运回北京，他买了两张火车票放两棵树，自己一路站着回到北京。 
      晚年时，王世襄曾自嘲：“我自幼及壮，从小学到大学，始终是玩物丧志，业荒于嬉。秋斗蟋蟀，冬怀鸣虫，挈鹰逐兔……皆乐之不疲。而养鸽飞放，更是不受节令限制的常年癖好。”
　　我很坚强，蒸不熟、煮不烂，我就是我。我有一定之规，一不自寻短见，二不铤而走险，全力著书立说，做对祖国文化有益的工作。我按照我的道路走，十年、二十年、三十年应该得到公正的认识，我能做到，这就是我的胜利。——王世襄
      轶事
      “学人中真正精于烹调的， 当推北京王世襄”
      王世襄对于烹饪，曾坦白自陈 “我是走到哪里都喜欢找地方做饭的”。
      除了在家做，上学做研究生的时候会借饭馆的勺颠两个爆火的菜，在国外逗留的时候借学长家的厨房做，出差的时候借饭铺 老板的灶台做，下放干校改造的时候借老乡家的锅做。真是走到哪做到哪，就算借锅借灶也要一施身手，非真爱不能如此。
      见识过他手艺的人称他是“烹调圣手”； 汪曾祺则写道：“学人中真正精于烹调的，据我所知，当推北京王世襄。”
      “高手在民间”，这句话王先生大概格外认同。玩蛐蛐的时候他把民间的高手请到王家花园与其同吃同住，朝夕请教。学厨也不例外，家里的高厨，饭店的大厨，亲友家办事请来的厨师，都是他学习的对象，他说宁可少吃两口菜也要上厨房转转，和掌勺的师傅们寒暄几句，再请教技艺。
      由此他交下了不少厨师朋友，以至于后来 在这些厨师主灶的饭馆里，王世襄去吃饭或请客，他可以自己上灶炒菜。