拆建筑我的工人哪去了？

拆建筑之后工人显示还在，但是完全在摸鱼，再招工人的粮食还不降，那人呢?