コードを書くとき、プログラマの頭の中には何らかの(実装言語にある程度依存した)実行モデルがあると思います。
「ソフトウェアの振る舞いの可視化」をする、とは、この実行モデルを可視化することを、ここでは想定しています。
具体例としては、次のようなものがあり得ると考えています。
* ソースコードのステップ毎に、関連するオブジェクトの変更・生成・破棄が可視化される
* ソースコードのステップ毎に、プログラムのフロー中のどこが実行されているかが可視化される
* ソースコードのステップ毎に、コールスタックの変化(return addressが積まれた、引数が積まれたなど)が可視化される。
プロジェクトチームやクライエントとの相互理解のための手法というこであれば、
UMLというのがあります。オブジェクト指向言語に特化したツールのようですが。
http://www.keyman.or.jp/search/kaihatu2/30000761_1.html?vos=nkey...
あるいはDFDという可視化手段も知られています。こちらはデータのIOに特化しています。
http://ci.nii.ac.jp/naid/110006421078/
中身はオンラインではまだ閲覧できないようです。
引用文献が分かればいろいろ辿れそうなのですが...。