いつもありがとうございます。

デフォルトのままだと以前と同じようにアイコンパレットの上端がメニューの裏側に隠れてしまい、なおかつパレットの余白部分を小さくしたい、ということでしょうか？
/wp-content/plugins/custom-smilies-se/for29.php
8 - 17行目の部分で、paddingの値を上下左右個別に指定してやってはどうでしょう。

#smiliesdiv {
	position: absolute;
	left: 100px;
	top: 100px;
	background: #fff;
	z-index: 100;
	padding: 50px 5px 5px 5px;
	border: 1px solid #dfdfdf;
	display: none;
}

こうするとパレット余白の上側が50ピクセル、右側が5ピクセル、下側が5ピクセル、左側が5ピクセルになります。