从前文的俘虏收容所列表中我们知道，南京俘虏收容所成立于1914年10月31日，是这几个俘虏收容所中成立最早的。
原来，在第一次大战爆发之初，日英联军进攻胶州湾德国租借地之时，德国海军S90鱼雷艇船员为避免战败被俘、军舰落于日本之手，自行将军舰炸沉，弃船登陆，主动向中国当地驻军投降。他们很清楚，即使被中立国中国收容，也要比被敌国俘虏强很多。据1914年11月5日上海《申报》记载：
宣武上将军（冯国璋）署昨准宁省中立筹备处办事员函开：现据山东靳上将、蔡巡按使电内开：前据日照知事巧电：青岛击毁德国兵舰一艘，官兵六十一人由石臼所下岸，愿弃船前往上海等语。当电中央请示处置办法。兹准统率办事处马电：日照下岸之德军官士等，应即按照中立条规，卸去武装，约束扣留，取道沂、兖，送往金陵安置等情。旋奉冯上将军、齐巡按使谕，饬江宁王镇守使、警察王厅长、宪兵陈总司令，会同委派委员前往浦口车站，接收是项德军官兵六十一人，即安置于南洋劝业会场之内，并派军警在彼加意保护，不准德军官兵相离住所寸步，俾免酿祸。一面又经王镇守使等布告军民人等，须知此为中立国应有之权力，勿得妄生猜疑，致启惊扰云云。
作为中立国，中国方面依照相关国际公法，将在石臼所上岸的这61名德国水兵收容。不过他们最初是被安置在南洋劝业会场之内。在此前后，在南京下关草鞋峡江面停留的“霍特”与“惟台兰”两艘德国炮舰，也在宣武上将军、江苏督军冯国璋的命令下，由中国军方勒令卸去武装，并命舰内德兵禁止登岸。中德正式绝交之命令发表后，由长江第二舰队（江防舰队）司令饶怀文派令海军士兵数十名进驻德舰，以资看守，并将德舰内军官佐及水手士兵名、数，开报海军总司令萨镇冰。虽未见以后对这部分德国水兵处置记录，很有可能最后也进了南京俘虏收容所。不过从南京俘虏收容所仅有65名德俘的情况看，也存在着其他可能。
另外，1917年3月14日中国对德绝交之后，时在广州的德国炮舰“青岛”号，也自行炸沉于黄埔。广东省督军当即派员赴现场清查，由黄埔海军管理处妥为收管，并上报外交部及海军部。该舰德国水兵如何处置，则未见记载，极有可能也被收容在南京。
不过，在南京收容所里的德国水兵并不消停。据1917年4月1日《北京日报》所载东方通讯社电，南京俘虏收容所的13名德国兵于3月28日晚乘机逃脱，后被宪兵在下关火车站拘获。在遣返俘虏收容所途中，这些德国兵还颇为抵抗一番，终被制服。
南京俘虏收容所的地址，位于南京城北丁家桥的江苏省议员公寓。当时的江苏省议会本是清末江苏省谘议局的旧址，也算是中国近代君主立宪制度的资产阶级革命的产物。谘议局是一座两层的大厦，钟楼高耸，内有议事厅，楼厢围廊是旁听席。民国初期这里是江苏的政治中心，后来1927年4月18日，南京国民政府就是在这里举行了成立典礼。
因为议员来自江苏各地，而且议会会期往往数月，所以议会在南京建有议员公寓，作为议员到南京开会之时的住宿之所。为收容从山东押解来的德国战俘，北洋政府将江苏省议会的苏、扬两属议员公寓改作收容所。为此，还引起王鸿藻、宋铭勋等12名苏州、扬州两地议员的不满，在议会中向江苏省长提出抗议。
