Senos laikos Rūjas upes labajā krastā, 3 km no tagadējā pilsētas centra, bijusi lībiešu valsts Metsepoles pils, kas hronikā minēta 1125. gadā, stāstot par samsaliešu un reteliešu flotes uzbrukumu un šīs pils izpostīšanu. Lībiešu koka pils vietā 1263. gadā ordeņa mestrs Burhards Hornhūzens liek celt Rūjienas ordeņa pili. Ap pili izveidojies prāvs miests, kas nosaukts par Rujeni.

Rūjiena sirmā senatnē bijusi rosīga vieta, par to liecina ziņas, ka Pleskavas, Novgorodas un Maskavas kņazi valkājuši rūjieniešu austās drēbes. Vēl Jāņa Briesmīgā laikā Maskavas galmam rujienieši auduši svārkus. 1481. gadā Rūjienu noposta Jāņa Briesmīgā vectēvs Jānis III. Tomēr drīz vien Rūjiena atkal atplaukst. Ordeņa mestra Valtera Pletenberga laikā 1526. gadā Rūjienas pilī tiek sasaukts plašs landtāgs, lai tiesātu arhibīskapu Blankenfeldu par viņa sakariem ar Krieviju.

Jāņa Briesmīgā iebrukumā 1560. gada septembrī krievu karaspēks sagrauj Rūjienas pili un pilnīgi iznīcina Rūjienu. Kad Vidzeme kļūst Polijas īpašums, poļu karalis Sigismunds Augusts 1562. gadā atdāvina Rūjienu svainim, zviedru princim Jānim. 1622. gadā Gustavs Ādolfs to izlēņo savam finansu pārzinim Jasperam Matsonam Krāsām. Pilnīgi Rūjienas pili sagrauj Ziemeļu kara laikā 1704. gadā. Maz palicis pāri no Rūjienas pilsdrupām, kuras sagrauzis ne tikai laika zobs, bet arī cilvēki, kas mūra akmeņus izmantojuši dzirnavu dambja celšanai.