元和三年（1617）遠州公三十九歳の時、幕府から大阪の天満に屋敷を与えられます。これは同年命じられた伏見城本丸及び書院の作事奉行また河内国の奉行の兼務により、伏見の六地蔵からでは不便なことからの幕府の配慮からでした。

翌年には女御御殿作事奉行にも任命され、また後に大坂城作事にたずさわることにもなりこの大坂の屋敷は重要な拠点となります。

詳細はわかっていませんが、ほぼ正方形の形をした四千坪の敷地に茶室も作られていたようです。この遠州公の屋敷のあった天満木幡町はもともと源融がこの地に伊勢神宮の分祀を祀る
神明社を作ったことが由来の地で、大阪三郷天満組に属していました。
江戸時代、大坂は幕府から派遣された大坂奉行の支配のと、北・南・天満の三組に分けられ、
大阪三郷と呼ばれていました。この三郷では、ある程度の自治が認められていたといいます。
この木幡町の西の一角に遠州公の邸宅がありました。