では誰がいつ創築したのか？城ができるにはそれだけの時代背景と要請があったものと考えられるので、その時代を簡略に知っておく必要がある。

伊勢新九郎（のちの北條早雲）が駿河国興国寺城から、堀越御所（韮山町）に足利茶々丸を攻め、伊豆に進入したのは延徳三年（1491）のことであった。三十日余りで伊豆を平定したと云うから、その早さは驚くばかりで、三島に守護代をおいた関東管領上杉氏の地侍に対する統制力も弱かったものとも考えられるし、山の多い伊豆は地理上の制約から統治するのに特別な難しさがあったのかも知れない。

戦国時代と呼ばれた時代で、足利将軍、関東管領、守護大名などの地方における争乱の中にあって、北條早雲が大森藤頼を攻めて、小田原城を奪取したのは明応四年（1495）のことである。これから以後小田原を本據として、後北條氏が五代百年をかけて伊豆、相模、武蔵とその領国を拡大して行ったのである。

伊豆駿河地方も、この時期は駿河の今川、甲斐の武田、北條氏とが夫々対峠して、しばしば合戦が行われた時代で、北條氏としては領国内にくまなく支城やら砦を築いて、この争乱の時代を生き抜く必要があったことは容易に想像することができる。

徳倉城は誰が創築したかについて『日本傳説伊豆の巻』の巻末に伊豆古城址という一覧があって、その最初に「名稀徳倉砦、位置田方郡北上村徳倉区城山、創築者北條氏員（ウジカズ）。」と記されている。北條氏員が創築者となっているが、この北條氏員とは誰のことか、『姓氏系大辞典』にもなく北條一族の中にもあまり見馴れない名前である。これは北條氏尭（ウジタカ）のことであった。『北條資料集』の『北條記』巻五によると、北條右衝門佐氏員とは氏尭のことで、「註」書に「底本氏員とあり、林家本等に従う」とあり、又『小田原編年録』の大平城（沼津市）のところにも「氏政此城ヲ築テ、北條左衡門大夫氏員ニ千余騎ヲ添テ」とあるから氏尭に相違ない。北條氏尭と云えば、北條氏三代日の氏康の子で、従って四代目氏政の弟である。氏尭は別に武州小机城主であり、更には駿河戸倉城主も兼ねていたものと考えられるから、戸倉在城中の一時期に距離は近いし、地理としても明るい氏尭が父氏康の命を受けて築城したと考えるのが妥当ではあるまいか。もしそうだとすれば、この時期は弘治・永禄年代と思われる。ではこの城が終えんしたのはいつか、徳倉城がいつ落城したのか、或は廃城になったのかもはっきりしていない。ただ後北條氏が『韮山城、山中城、小田原城戦史』（大正二年参謀本部）によると、天正十八年（1590）正月二十日氏直父子が其一門宿将を小田原に会した。いわゆる小田原評定と云われる会議で、諸城砦の配備を定めたが、その中には徳（戸であろう）倉城北條氏尭、泉頭城大藤長門守等配備はあるが、徳倉城はない。この配備の末尾に「此外管内ノ諸城塞尚ホ数十アリ、槻ネ留守ヲ置キ守将ハ之ヲ小田原ニ召集セリ」とあるので、この時期既に徳倉城は砦の役目を終えて廃されていたものか、或は留守番が城を守っていたものであろうと思われる。

『郷土史略説』（徳倉尋常高等小学校昭和六年十一月刊）の中の歓喜寺（当時城下寺廊にあり→現在別の場所臨済宗）由緒によると、天正十八年（1590）の兵火に罹り焼失したと記されている。天正十八年の兵火と云えば、秀吉の小田原征伐の時と考えて間違いあるまい。このとき城も寺も附近の家も焼失したものであるのか、一切は歴史の奥に消えてしまっている。冒頭に記した五輪塔のある城跡も、まだまだ調査を要する多くのものを秘めたまま眠っているのである。