VS2010(.net 4.0)で確認してみましたが普通にjpgが表示されました。エラーはなんと書いてありますか?ファイルパスは正しいですか?「順次表示するもの」とありますが、この場合はパスが上書きされてjpgしか表示はされないのでは。
PictureBoxコントロールに簡単に画像を表示するhttp://dobon.net/vb/dotnet/graphics/pictureboximage.htmlこちらが参考になると思います。