Mixiで日記を書く際に絵文字を選べるようになっているのですが

OPEN　PNEでも絵文字が対応されました。

オープンソースですので絵文字画像さえキャリアからDLすればすぐに使えると思います。

もちろん、環境に合わせて改造しなくてはいけませんが。

http://www.openpne.jp/

＃自分のサイトというのが、どういうサイトなのかを書かないと

　適切な回答は得られないかと思います。ブログやCMSを使って

　いるのか、PHP等でコードを全て書いているのかなど・・・

いづれにせよ、２つの機能（プログラム）が必要です。

１つ目は、画像を選んで、入力欄にコード（[m:50]のような記号）を

入れる作業。（種類が少なければ、無くてもよいかもしれません。）

２つ目は、コードを画像（htmlタグ）に置き換える作業です。

これらの機能は、一般に「スマイリー」機能と呼ばれていますので、

CMSや言語名と、スマイリーまたはsmileyでWeb検索すれば、参考

サイトが見つかるかと思います。

＃さらに踏み込んでBBコードに対応してしまうなど・・・　

CodeIgniterのスマイリーヘルパ

http://codeigniter.jp/user_guide_ja/helpers/smiley_helper.html

CodeIgniter使っていなかったら、ここを見ても何の役にも立ちませんが。