画像ファイル名に☆などの記号や漢字その他の文字を混ぜているのであれば、
半角英数だけにしてみてください。
ファイル名に記号や漢字などを混ぜることが出来るかどうか、また、
具体的にどのようにすべきか、注意する点はどこかなどは、
サーバーの仕様を調査してあわせる必要があります。
ちょっと手間になるので、プロでも半角英数だけに統一するほどです。
初めてホームページを作るということなので、
今は半角英数だけにして、とにかく表示されるようにすることを目指しましょう。
PCにて作成、InternetExplorer(以下IE)で確認している前提で進めます。
「赤い×印ではなくクリップアートのアイコンが表示される」との事ですが、
オプションにて「画像を表示しない」設定にされている可能性があります。
まず、画像ファイルを直接表示させて問題なく表示することを確認します。
※ここで表示されない場合、画像自体に問題がある可能性が高いです。
次に、画像が表示されているURLを正しく設定する為に、IEのアドレスバーに表示されているURLを
「画像ファイル名.jpg」の部分に貼り付け、書き換えます。
IEの「インターネットオプション」を開き、「詳細設定」タブを選択します。
詳細設定を選択する | マイクロソフト アクセシビリティ
※ページ下にある画像と同じウインドウが表示されます。
「マルチメディア」のカテゴリにある「画像を表示する」にチェックが付いている事を確認してOKを押します。
F5キーを押して、画像が表示されているか確認します。
また、他のブラウザを使用して確認することもお勧めします。