いろいろ試行錯誤しつつ､変更しつづけてたりするけど､現状を回答してみます｡
ちなみに､fabric/ansible/serverspec を使っております｡

各ﾌﾟﾛｼﾞｪｸﾄ毎に､ｱﾌﾟﾘｹｰｼｮﾝとは別に server という名前でﾘﾎﾟｼﾞﾄﾘを別(または､Subversion ならﾃﾞｨﾚｸﾄﾘを別) にして管理してます｡
で､その中身は､

• fabfile/
• ansible/
• serverspec/
• ssh.config

みたいな構成になってます｡

fabric や ansible については､どのﾌﾟﾛｼﾞｪｸﾄでも共通な部分は､
できるだけ社内共通ﾗｲﾌﾞﾗﾘにまとめて､pip でｲﾝｽﾄｰﾙして使う､みたいな感じになってきています｡
たとえば､ansible の module や､fabric のﾀｽｸ( http://www.backlog.jp/blog/2013/09/fabric-advanced.html ) とか｡

どのﾌﾟﾛｼﾞｪｸﾄでも上記構成で統一されていると､
どこになにがあるかわかるのはいいですよね｡

共通な部分をまとめてﾗｲﾌﾞﾗﾘ化するのは､
全体を見てて､かつ｢良い塩梅｣でまとめてくれる人が必要かと思います｡
( 僕はあまりやれません... )

回答になってますでしょうか？