关于前年领取的失业补助金，之前老板来电，让退!

应该是19年吧，上过两个月的班，然后辞职走了，没签合同也没解除合同，期间有缴纳养老失业！后来本站发领取失业补助金，然后申请就成功了，发了6个月！刚打电话来了，说社保查到他那里了！让我退钱，还说什么刑事责任，说查打卡记录，工资发放，还有合同！
现在这应该咋办，是他的事还是我的事啊！