外務省のサイトで公開されている史料では、以下のようにあります。
当時の小笠原諸島は、イギリスが領有を宣言したり(1827年=文政10年)、浦賀に来航する途次のペリーが、現在の父島に貯炭地を設置する契約を島民との間に結び、かつ島民に植民政府樹立を宣言させる(1853年=嘉永6年)など、領有権が曖昧な状態にあった。こうした事態を危惧した幕府は、外国奉行の水野忠徳(筑後守)一行を咸臨丸にて小笠原諸島に派遣した。1862年1月18日(文久元年12月19日)、父島に到着した水野は、父島・扇浦に幕府の役所を設置すると同時に、同諸島が日本領であることを島民に伝達して、小笠原諸島の日本領有を明確にした。これを受けて幕府は、同年6月(文久2年5月)、各国代表に小笠原諸島の領有権を通告した。
15. 「咸臨丸風波ノ図」
これを見るに、伊豆国の所轄ではなく幕府直轄ということでしょう。
その後、内務省管轄から東京府へ移管です(東京都小笠原支庁のページから)。
丈久 元年(1861年) 幕府は外国奉行水野忠徳らに命じ、小笠原調査のため、
「戚臨丸」を派遣、居住者に日本領土であること、
先住者を保護することを呼びかけ同意を得る。明治 9年(1876年) 国際的に日本領土と認められる。
内務省所管と定められ、移民を送り内務省出張所が設置される。13年(1880年) 東京府の管轄となり、内務省出張所が廃止され、
東京府小笠原出張所が設置される。沿革|小笠原支庁