量と質に依ります。
一口に有害物質と言っても色々あって、肉体に影響を及ぼすとは限りません。
例えば放射性物質は最近異常にクローズアップされていますが、実際に健康被害に遭うには、例えば福島の汚染水が全て流れ出してしまったとしても、原子炉隔壁が崩壊しない限りは大丈夫でしょう。
化学物質の汚染は高度成長期にクローズアップされましたが、あの時期に問題になったのは主に有機水銀系の劇薬です。
体内に蓄積されやすく、発ガン性が強かった。
アスベストを吸い込んで肺がふさがれて肺ガンで死亡する例も多かった。
最近話題になった印刷所の胆管癌の例もある。
しかし、これらは全て職業的な原因、言い換えれば長期間にわたって大量に吸い込んでしまった場合です。
香料工場の爆発で飛散した有害物質が何かで違ってきますが、例えばダイオキシンや NOx 系の有毒物質だったとして、かなり大量に吸い込むと一時的に肺が苦しくなる可能性はあります。
毎日のように長期間吸い込んでいれば肺疾患、喘息などになる可能性がある。
しかし、一回きりでは発病することにはならないでしょう。