jQueryのdynatreeプラグインでツリーにチェックボックスを表示してはどうでしょう。
http://jsajax.com/Articles/jquerytreecheckbox/1389
Javascriptで子ウインドウを開き、
そこで選択した項目を親ウインドウに返すという方法もあります。
↓のような感じで、親のinput要素に渡すことは可能です。
window.opener.document.form01.text01.value = val;
window.close();