建設会社というのは建設中は周囲に迷惑を掛けているって自覚があります。
あまりに酷いのであれば、施主か元請けの建設会社に相談するべきでしょう。
怒鳴り込むとかじゃなくて、「かなり迷惑なんだが何とかしてもらえないだろうか・・・?」と相談すれば充分です。
そういうケースでは普通の建設会社なら、あっという間に現場監督の呼び出しと責任者の謝罪に繋がるはずです。
それこそ「菓子折持って」。
ただし、普通じゃない筋の会社の場合は無視されるかもしれません。
おそらく納期が迫っているとかで現場の精神状態がかなり険しいことになっている可能性が高いと思います。
建設業界の人手不足というのも慢性化している。
だから、現場に直接クレーム付けるのは避けるべきでしょう。