因为老板为人nice，所以同事们喜欢调侃他，没什么恶意，老板对楼主应该是欣赏的，被同事发觉了，发现调侃老板这个事情也没什么不良后果，楼主在这件事里应该只是被女主角了，大家发现你也挺nice的没过激反应，所以就持续这个娱乐活动喽。
楼主担心是因为自己行为问题导致的，如果真是因为某种行为不妥或通过手段得到老板青睐估计大家就只是背后议论，不会当面调侃了。楼主只需要有意识地把大家的玩笑控制在合理范围内就好了。