室町時代、河野氏の本家と対立していた予州家党首、河野通春の居城だった城跡です。
通春の死後、予州家は没落し、港山城は河野本家に接収されますが、長宗我部の四国平定の際に落城し、直後の秀吉の四国攻めで廃城になったとされています。
しかし、江戸時代になっても松山藩の船奉行と軍用船が置かれた、海の守りの要であったそうです。