去年通過媒人介紹我們認識了，年前臘月二十八他家突然要來送禮，我說又沒訂婚不需要送禮，但他家執意要送，后來就在那天的吃飯桌子上當時他給我轉賬一萬零一塊做見面禮，我們就莫名其妙的就算是訂婚了，大年初二按照習俗他來帶我去他家吃飯，我父母給了他四千塊的紅包，我在他家吃午飯和晚飯才回家，他父母給了我八千塊的紅包，說當時訂婚匆忙，沒有買衣服和訂婚戒指，他媽媽說她給了她兒子五千塊錢，兩千塊錢買衣服，三千塊錢買訂婚戒指，后來由于他的時間繁忙，沒有時間去買衣服，他就給我轉賬兩千塊錢，讓我自己去買，端午節是他轉賬兩千送禮，現在他要退婚，理由是訂婚到現在我沒有去他家住，讓我賠兩萬塊錢給他，我該賠嗎？