特定か普通に関係なく､派遣契約で会社間の部分は単純に労働者を派遣するというだけの事であり､特定の誰かを指定するものではありません｡派遣先が労働者自身を特定や事前面接したり､事前に指定する事も違法となります｡
ergo
会社間の派遣契約が残っているなら､派遣元が別の労働者を派遣すべき､すれば良いだけの事です｡あなた自身は雇用契約が終了するのですから派遣先､元､いずれでも就労する義務も必要も権利もありません｡
派遣先としても､あなたが退職するかどうか直接の関係は無く､関与もできません｡(送別会ぐらいやっても構わないけどね)あなたと派遣先とは雇用契約は成立していませんから｡
(したら､別の意味で違法)
送別会の都合があるので､w 派遣先に退職を伝えておくべきでしょう｡次がどうなるか知りませんが､私は○日で退職しますと｡

労働者からの退職は一方的な通知で成立します｡
雇用契約の期間が定まっていない場合 ｢のみ｣ 民法627条により2週間を経過すると損害賠償の責が無くなります｡
(退職の成立とは違います)
http://www.houko.com/00/01/M29/089.HTM#s3.2.8
期間が定まっている場合はその期間の労務提供義務がありますので､通知して退職した場合でも損害賠償の責任から逃れる事はできません｡もっとも､雇用契約の労働者側からの一方的破棄について､損害賠償が認められるのは非常に特別な場合だけです｡
http://www.jil.go.jp/rodoqa/12_funsou/12-Q06.html
http://www.jil.go.jp/institute/zassi/backnumber/2004/11/pdf/002-039.pdf
日本ﾎﾟﾗﾛｲﾄﾞ事件 東京地裁 (p7)
1年以内に退職した場合に､200万のｻｲﾆﾝｸﾞﾎﾞｰﾅｽを返却するという雇用契約について､裁判所は拘束的契約である事から強制労働を禁じた労基法5条等に違反し無効とした｡
(1は誰かさんの事件だな､w､結局負けたか｡でも､集金するだけの事だし縄張りが決まっていて自由裁量なんてそんなに無いけどね｡もっとも､適当に回ってるだけで年1千万だって､､NHKはﾎﾞｯﾀｸﾘ)
逆の例として､
ｹｲｽﾞｲﾝﾀｰﾅｼｮﾅﾙ事件 東京地裁 平4．9．30
では､入社後4日の急な退職により､会社が1千万円の取引を失ったため､70万の損害賠償が認められています｡