Скорее всего , лучше согласиться. Но тут же оговорить, что завтра утром вы задержитесь. Или завтра после работы на тоже время раньше уйдете. То есть, тут же оговорить компенсацию. А если начальство не согласно на компенсацию, то уходить!!!
Если вы останетесь, значит, не цените себя, как специалиста!