こんな感じのことをやりたいのでしょうか？

function setModelDeclaration(sheetName) {
 sheetName = String(sheetName);
// RegExp.test() の戻り値は true / false
// parentModelName = /(.*)/.test(sheetName);
 var parentModelName;
 var re = /\((.*)\)/; // () の内側を切り出す正規表現
 var result;
 if ((result = re.exec(sheetName)) != null) {
 parentModelName = result[1];
 }

 if(parentModelName){
 modelName = sheetName.slice(0,sheetName.indexOf("("));
// ***** sheet じゃなくて model ？
// modelDeclaration = "class "+sheetName+"("+parentModelName+"):";
 modelDeclaration = "class "+modelName+"("+parentModelName+"):";
 } else {
 ...
 }
 return modelDeclaration;
}

元のｺｰﾄﾞになるべく残して､書き換えたところは､元のｺｰﾄﾞを残してあります｡

ﾎﾟｲﾝﾄは､こんなところかと｡

• 正規表現で () は､特別な意味を持つ
• RegExp.test() ﾒｿｯﾄﾞの戻り値は true / false
• modelDeclaration を作るときのﾀｲﾌﾟﾐｽ？

ﾒｿｯﾄﾞの引数や戻り値の意味は､ﾄﾞｷｭﾒﾝﾄを引くようにした方が良いです｡

• RegExp.prototype.exec() - JavaScript | MDN
• RegExp.prototype.test() - JavaScript | MDN