遠州公が小堀村で産まれ、過ごした時は、そう長くはありません。天正十三年（1585）豊臣秀吉が、弟秀長と共に五千人の家来を連れて大和の郡山城に入城します。遠州公の父である新介も秀長の八老中の一人として城内に屋敷をもらい、遠州公も共に郡山に移り住みます。

遠州公が七歳から十七歳までの約十年間をこの郡山で過ごすこととなります。織田信長の支援を受けた筒井順慶が大和を統一し、天正8年（1580）筒井から郡山に移り、明智光秀の指導で城郭の整備にかかりました。この郡山城と光秀の作った福知山城に共通の特徴があります。
転用石といって城郭の石垣に仏塔や墓石など、多目的で使用されていた石をわざと見えるように、使用したものです。

ところが、本能寺の変から山崎の合戦（ここで洞ヶ峠を決め込むという言葉が生まれます）
順慶の死、後を継いだ定次の伊賀上野へ国替と状況は次々と変化していきます。

秀長が入城する五年前に、織田信長はここ郡山城以外の大和の城を全て取り壊していたため
唯一の城下町であり、更に秀長は奈良での味噌・酒・木材の販売を禁止し、郡山に限る政策を行ったため、郡山は更に栄えていきます。

また、堺・奈良と並んで茶の湯の盛んな土地でもありました。ここで遠州公は後の人生を方向付けるいくつかの出会いがありました。