1966年，林绍纲有一次去台基厂的对外友协，碰见正在办公楼一层打扫厕所的杨朔。他双颊微红，面露尴尬地对林绍纲说：“他们说我里通外国，真是无中生有。”第二年，林绍纲又在一个外事场合碰到了杨朔，知道他被解放允许参加一些活动，彼此都很高兴。

1956年6月28日，中宣部部长办公会议决定成立研究组。杨雨民、阮章竞、康濯、严文井、葛洛、黎辛、张僖组成“作协七人小组”，负责具体调查，后改为刘白羽、杨雨民、张海组成的三人小组。调查组下设办公室，由丁宁负责，抽调了林绍纲等五人做具体工作。

《国防科工局、国家文物局携手加强军工文物保护》1969年国庆节前，作协全体180余人下放湖北咸宁文化部干校。此前调离作协的陈白尘、郭小川等人也被带回接受批判劳改。作协被编为第五连，作协党组成员李季担任连长。