использование отпуска
Как видно из текста вопроса, вы официально оформили отпуск, получили средний заработок, сохраняемый на период отпуска, но отгуливать его не захотели и продолжали работать.
Так как вы могли работать исключительно с ведома работодателя, то он должен был отменить приказ
Если вы часть отпуска отгуляли, а потом по просьбе руководителя с вашего согласия были официально отозваны из отпуска, то на основании ст. 125
Неофициальные взаимоотношения работника и работодателя (некие договоренности) трудовое законодательство не регулирует.