ノートパソコンのCMOS電池が電力がなくなった状態では起動自体はしますか？

ほとんどの場合で問題なく起動すると思います。たまに、なんかエラー吐くやつがいるみたいですけど。
普通は、ACアダプタが繋がっていたり、バッテリーが生きていれば同じ効果があるはずです。
ノートの電池は様々なので気軽に交換できるものでもないですが、試してみても損はない・・・時間の無駄か。でも、交換によってリセットもできるので、やってみては？

経験的にはCMOS電池切れでも起動します。
BIOSの設定が毎回リセットされてしまうといった弊害が出ます。

ノートPCについては、メーカーによって分解の難易度は違うと思います。
保守マニュアルが整備されているものならよいのですが、ものによっては慣れていないと元に戻すのが難しい場合もあると思います。

　
CMOS電池が消耗してしまうと起こる現象の一つとして起こるのが
　
Windows起動の際に黒い画面で「CMOS checksum error」という表示が出ます
　
この表示はBIOSの初期設定で直ることもありますので
　
まずCMOSクリアーを行います
　
その後BIOSに日付 時間の設定を行い
　
それでも同じ症状が出る場合はCMOS電池の交換を行います
　
　
　
　
　
　
　
　
　

https://www.dell.com/community/%E4%B8%80%E8%88%AC-%E3%83%87%E3%82%B9%E3%82%AF%E3%83%88%E3%83%83%E3%83%97/%E3%82%B3%E3%82%A4%E3%83%B3%E5%9E%8B%E9%9B%BB%E6%B1%A0-CMOS%E9%9B%BB%E6%B1%A0-%E3%81%AE%E5%BD%B9%E5%89%B2%E3%81%A8%E5%8F%96%E3%82%8A%E5%A4%96%E3%81%97%E5%8F%96%E3%82%8A%E4%BB%98%E3%81%91%E6%96%B9%E6%B3%95/td-p/7191576

電池がなくても起動しますが、交換しておいたほうが無難でしょう