白公馆相隔不久，还有一个叫渣滓洞的集中营。渣滓洞原为人工采煤的小煤窑，因煤少渣多而得名。后来，军统特务逼死矿主，霸占煤窑及矿工住房，改设为集中营。它三面环山，一面临沟，地形隐蔽。白公馆被改为“中美合作所”第三招待所后，所关押“******”迁此。也就是说，白公馆和渣滓洞是互补关系，哪边有“虚位”，就把“犯人”往哪移。
黄显声是白公馆的VIP“客户”，也可以说是重点看护对象。因为黄显声会武术，所以羁押之初，看守给黄显声上了手铐脚镣。白公馆给美军当旅馆的时候，黄也去过渣滓洞，因此对渣滓洞比较熟悉。渣滓洞看守所分内外两院，内院有放风坝，一楼一底的男牢十六间，女牢二间。为从精神上瓦解革命者的斗志，特务们特意在渣滓洞内院墙上写“青春一去不复返，仔细想想，认明此时与此地，切莫执迷。”、“迷津无边，回头是岸”，“宁静忍耐，毋怨毋忧”的标语。外院是特务办公室，刑讯室。外院墙上写有讯示特务的标语“长官看不到、想不到、听不到、做不到的，我们要替长官看到、想到、听到、做到”。
有一段时间，白公馆被当做中美合作所的招待所，这是个非常“著名”的机构。我们读红岩，看老电影，一到英雄就义，旁边有特务，也有戴着钢盔的美国佬。实际上，中美合作所和关押******无关，甚至，这是一个为抗战立下汗马功劳的组织。它破译过日军密码，帮助美国空军击落日本海军大将山本五十六的座机。它还向美国提供的日本占领区军事及气象情报，成为美国太平洋舰队和在中国沿海的美潜艇攻击敌海军的唯一情报来源。对******的屠杀，是在“中美合作所”撤销之后。
黄显声因为会武术，所以带了一段时间的手铐脚镣。但是很快，看守们发现，这是多余的，因为黄显声压根就不想逃。换句话讲，你把监狱门打开，让他跑，他也未必答应。在黄显声的意识里，他是堂堂的军人，谁把他抓进来，谁还要把他放出去，敞敞亮亮的。抱着这种意识，他对特务是很不客气的。黄显声被捕后，特务审问他时，他义正词严的逐点驳斥：出自友情和道义我营救张汉卿，这能构成什么罪？更何况张汉卿光明磊落天下皆知。至于我热衷抗日，本人身为国家中将，动员真心实意抗战的人们到最危险最艰苦的前方去抗日，这是本人对国家对民族的义务，也是一名军人应尽的天职，在这全国动员、全民动员的抗日潮流中这难道也算得上什么罪？
欲加之罪，何患无辞。气极之下，他高声痛斥：堂堂政府在光天化日之下，偷偷摸摸将个无罪有功之人抓起来，是何道理？这是叫施礼义，还是叫行廉耻？这些话问得参加审讯的特务面面相觑，不知所措。******对黄显声是恨之入骨的，所以黄显声等初囚于此，受到了百般凌辱和非人的折磨。他经常以“虎入笼中威不倒”来鼓励难友们斗争的勇气。后来，军统当局接受“国际友人”的建议，要把“息营”办成一个“模范监狱”，遂将狱中的犯人一律改称“修养人”。按照“修养人”的等级制度，黄显声因其地位和影响等原因，属“优待修养人”，是重点怀柔对象。
所谓“重点怀柔对象”，就是只要答应某种条件，就会得到自由，甚至高官厚禄。事实上，戴笠曾经追逐过黄显声。这年春，国民党军统特务头子戴笠还是海军部长，为了网罗人才，曾亲自跑到息烽来劝说黄显声。周养浩事先暗示黄：戴老板可能有借重之处，机会难得，嘱其好自为之。果然，戴笠以脱离东北军和那边（指共产党）的关系，再在狱中作点工作（指拉过来几个人）为条件，向他许以高官之愿。黄显声对戴的反应极为冷淡，他只是简单地申明：张学良不出去，我也不出去。有人劝他可以假意应承，出去了再说。黄显声却不以为然，在他眼里，戴笠只不过是一条狗（原话），他不能去作“走狗的狗”。
反之，戴笠是很“器重”黄显声的，也费了一番口舌，和黄显声的交谈从上午九点，一直持续到下午一点，不能说没有诚意。他把戴笠看做一条狗，对******自然不会高看一眼。这年初，狱中规定把******所著《中国之命运》一书作为修养人的必读教材，黄显声对此极端蔑视。大约，在他看来，流氓（蒋二秃子）不可怕，就怕流氓有文化，丧权误国的人，是写不出什么好东西的。
在战场上，黄显声是将军，在监狱，他也被委以“一官半职”。监狱成立生产组时，狱长周养浩委黄显声为组长。周养浩此举的目的，除了以施恩惠对黄显声进行拉拢企图使其“感化”之外，还想凭借黄显声的才干和在狱中的威信为自己在经济上捞取大宗利益。黄显声对此十分清楚，为了争取有更大的活动范围，取得各种联系，有利于开展合法斗争，决定与周虚与委蛇。黄显声作事从来魄力很大，管理生产亦复如此。
他一上任就向周养浩提出一个庞大的计划，因他知识丰富，组织力强，略展经济之才，便把息营变成了一个拥有几个厂矿，能进行多种经营的“明星企业”。周养浩本人，也摇身一变，成了老板。这样，难友的生活得到了一些改善，活动范围的增大也使大家有了更多的交谈机会。平时，对狱中一些病弱难友，黄显声总是给予各种帮助，或将自己所备药品捐出来救济难友之急，或慷慨解囊给这些人买些需要的东西吃，使这些人绝处逢生。特别是每当有难友遭受凌辱和非刑，他总是要亲自去慰问，这在当时也只有他敢这样做。
黄显声还是一位诗人，他以力主抗战而闻名，但在抗日期间，爱国热情得不到释放，报国无望，万分愤慨，以诗明志。当读到南宋爱国诗人陆游的诗句“夜视太白放光芒，报国欲死无战场”一句时，这个铁骨铮铮的将军竟痛哭失声，大骂******是“秦桧当权，岳飞被害。”将军所想，大约是和张学良一起出狱，甚至出狱后跟着张学良带着东北军收复沈阳。
