闲人住宅如何收回仓库？

不能把闲人移出住所，又不给建筑收回仓库。。。