おそらく、PHPで画像の一覧を表示していると思います。
PHPがechoやprintで出力している<IMG>タグに「rel="lightbox"」を追記すると良いです。
ただし、出力部分の記述方法によっては"(ダブルクオート)に\を付けなければいけないかもしれません。
「すべてのリンクに自動付加」をどういう方法で行っているかわかりませんけど。
PHP側でなら、「<a href="~"」等とアンカータグを出しているところで、ファイルの拡張子を見て「rel="lightbox"」を追加するかしないか決める。
Javascript側でなら、やはりアンカー要素のhref属性を見て追加するかしないか決める。
拡張子は「.jpeg」を含まないなら最後の4文字とか、または正規表現でもいい。
「拡張子判定 php」とか「拡張子判定 javascript」とかで検索してみてください。