タスクバーにピン留めされているアプリケーションを削除したい

手動での削除をお勧めします。理由は２つあって、

1.タスクバーに表示されるものなどたいした数ではない。
　毎度毎度起動ごとに登録されるものでもありませんので、
　一度削除すれば基本的には表示されなくなります。
　（アプリケーションのアップデート後などを除く）

2.正規の手順を踏まないとレジストリにゴミが残る可能性があり、
　後々PCの動作が不安定化する原因ともなりかねません。

ちなみに"正規の手順"とVBSやBATで削除する際の違いはあるのでしょうか？
GUIで実行することを文字で記述してショートカットしているイメージだったのですが…
それとレジストリにゴミが残るというのであればどのキーに残っていくのかご教示願います。
その対策も行おうと思います。

一応、探せばそれらしき情報は見つかり、

http://kiri.hatenablog.com/entry/2013/11/27/142933

上記からは以下のレジストリキーが拾えます（値はバイナリ化されているとのこと）。

HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\Taskband

また、このレジストリキーを元に、以下のような公式文書も見つける事ができます。

https://social.technet.microsoft.com/wiki/contents/articles/28239.how-to-manage-windows-taskbar-items-pinning-using-group-policy.aspx

ただ、ここでちょっと考えて欲しいのですが、
マウス操作1つで複数のレジストリの値が書き変わっている場合、
それら全ての挙動を1つの漏れなく忠実にトレースしないと
データが不整合を起こすというのは分かりますよね？。
その場合どうなるかというと、最悪OSがぶっ壊れて起動しなくなる事が想定できます。
なぜそこまで言えるのかというと、私の場合はそうした実体験があるからです。

『窓の手』という各所で絶賛されているそこそこ有名なフリーソフトがあると思うのですが、
私はあれを使用したがためにWindowsを再インストールする羽目になりました。
（といってもWin98の頃の話なので、あるいはもしかすると今は大丈夫かもしれません）

ですからきちんと仕様を把握し、それに則って忠実にレジストリを弄るというのであれば問題を感じませんが、
この質問からはどちらかというと小手先の力技で物事を解決しようとの印象を受けましたので
上記のようなコメントとあいなったわけです。
（というか現実問題として、バイナリ化されたデータを弄る必要があるようですので、
　データの意味を正確に把握しない事には手がつけられないような気がしないでもないのですが）

では肝心の仕様はどこにあるのかですが、もしMicrosoftが仕様を公開しているのであれば、
件のレジストリキーを元に探せばそれほど苦労せずに見つける事ができるのではないかと思っています。
個人的には公開していない可能性の方が高いのではないかと思っていますけれども。