Аванс - возвращать или нет?

На квартиру нашёлся покупатель, который впоследствии отказался от покупки. Был заключён договор аванса, где было прописано, что если сделка не состоится по вине покупателя, то аванс остаётся у продавца (исключение неодобрение ипотеки). Покупатель считает себя виновным и на аванс не рассчитывает. По ГК РФ аванс является возвратной суммой. Не может покупатель подать на меня в суд и в течение какого времени? Как себя обезопасить? Как юридически грамотно вернуть аванс, если я этого захочу, но покупатель живёт а другом городе и приезжать не планирует.