「xとyのグラフ」という意味でのグラフではありませんのでお間違えのないようにお願いします。
Debian(Sarge) で apt からインストールできました。
このあたりを見ると、ノードの形状の自由度は高そうです。
http://www.graphviz.org/Gallery/directed/crazy.html
http://www.graphviz.org/Gallery/directed/switch.html
で、こちらが上のグラフの記述ファイルですね。
http://www.graphviz.org/Gallery/directed/crazy.dot.txt
http://www.graphviz.org/Gallery/directed/switch.dot.txt
ついでに回答しちゃいますが、これの Rubyバインディングがあります。
http://raa.ruby-lang.org/project/ruby-graphviz/
http://www.rubyfr.net/pub/index.php
ソース展開して、
ruby extconf.rb sudo make install cd tests ruby sample02.rb > sample02.png
で png の画像が作れるところまでは確認しました。
質問の意図がつかめんのですが:
論文:
のようなグラフの可視化ですか?
それとも、もっと数学的な話?