灵溪镇站前路210-2号城北小温饭庄是二间二层楼的违法建房，从一开始违建就没有任何部门来阻止违建行为，也没有拆除，相关责任部门是否已失职？请依法对违建房进行拆除。