車の修理をキャンセルしたときに発生する費用についてです。

・ブレーキ部品の修理が必要になった
・見積もりは、部品5点の部品代と技術料
・5点の部品のうち、4点は近くの工場に、残り一点は広島から取り寄せる（当方埼玉）
・見積総額は5万5千円
・見積額を見て、修理しますと口頭で伝え、ピットの予約をした（1週間後の予約）
・3日後、再度検討し、修理せず下取りに出す方がよいと判断
　すぐに修理依頼先に電話し、修理をキャンセルしてもらうよう伝えた
　（車はもう一台所有しており、今回修理の車が無くても当面困らない）
・するとディーラーから、修理のキャンセルは可能だが、広島から取り寄せた部品は返品できない（ほかの部品は返品できる）ので、その部品の実費6000円は支払って欲しいと言われた

こういったやりとりがありました。
修理依頼時に特にキャンセル時に発生する費用などの説明は受けておらず、契約書や依頼書も特に作成していない（少なくとも自分はサインしていない）。

この場合、先方が言う6000円は支払う義務があるのでしょうか。
法的な根拠と共にアドバイスをいただければ嬉しいです。
宜しくお願いします。