退休返聘人员不可以随时辞退。如果签订了聘用合同，应该按照合同规定予以辞退。当事人在聘用合同中可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。因为此时二者签订的并不是劳动合同。
《中华人民共和国民法典》第五百六十二条当事人协商一致，可以解除合同。当事人可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。《中华人民共和国民法典》第五百六十三条有下列情形之一的，当事人可以解除合同：（一）因不可抗力致使不能实现合同目的；（二）在履行期限届满前，当事人一方明确表示或者以自己的行为表明不履行主要债务；（三）当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行；（四）当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的；（五）法律规定的其他情形。