拒绝回去上班时，应当采取委婉且专业的态度，以下是一些建议：
表达感激
首先，对老板给予的机会表示感谢，并表达出对公司的尊重和欣赏。
说明原因
清楚地说明暂时不能接受工作邀请的原因，如家庭原因、健康问题、职业发展考虑等。
保持礼貌和无奈的态度，避免过于情绪化或负面。
避免承诺未来
不要对将来返回公司的工作作出承诺，以免给老板留下不坚定的印象。
选择合适的时机和方式
尽量选择私下沟通，避免在大庭广众之下或通过正式文件拒绝。
可以通过电话或邮件的方式，确保沟通的正式性和记录的可靠性。
保持良好关系
即使决定离开，也要尽量保持与公司的良好关系，为未来可能的再次合作留下空间。
自我推荐
如果可能，可以推荐其他候选人或提供一些有助于公司寻找合适人选的建议。
“尊敬的[老板姓名]，非常感谢您再次给予我这个工作机会。我对此感到非常感激。然而，经过深思熟虑，我目前有一些个人的原因，暂时无法接受这个工作邀请。我正在寻找一份更符合我的职业目标的工作，并且我相信这对我的长期发展更为有利。我希望未来有机会能再次为贵公司效力，并祝愿公司未来取得更大的成功。再次感谢您的理解和支持。”
通过这种方式，你既表达了对老板的尊重和感激，也明确了自己的立场和原因，同时保持了礼貌和专业性。
