すでに支払済みの契約金の取り扱いについては、契約書の内容を前提に決定されます。いいと思った会社と合わなくなったということですが、どのような経緯で気持ちが変わったのでしょうか?
 契約した途端に営業マンの態度が変わり、信用できなくなったのでしょうか? 家づくりは一世一代の大仕事です。その始まりにイヤな気持ちを味わうことになったのだとしたら、お気の毒としか言いようがありません。
でも、考えようによっては早めに気付いてよかったのだと思います。工事がはじまってからの業者変更となると、これは重大です。発注済の部材や設備機器など、たくさんのお金を損することにもなりかねません。後になってからイヤな思いをしないためにも、業者選びは慎重にするのが良いと思います。
(注)多額の契約金を払うと、急に態度が変わる会社があります。ご注意ください。

業者選びは慎重に。後になってからの変更は危険。