서장훈, 집안이 애초에 부자였다…300평 별다방 자리가 '가문 집성촌'