Wjazd do zamku przebiegał międzymurzem zachodnim, wzdłuż przedzamcza aż na południową jego stronę, gdzie znajdowała się brama, dalej - przez dziedziniec przedzamcza i most nad fosą pośrednią - do bramy zewnętrznej zamku. Po drodze należało przebyć, nie licząc pierwszej bramy przy zespole młyna, pięć, a może sześć umocnionych bram. Bezpośredniego dostępu do zamku i suchej fosy broniły w późniejszym czasie dodatkowe mury przegrodowe. Ten stan osiągnięto pod koniec XV w. W drugiej połowie XVI w., gdy wraz z postępem techniki wojennej założenie straciło walory obronne, przebita została druga, obecnie użytkowana brama w skrzydle zachodnim przedzamcza. Dojazd do niej zapewniała grobla usypana pomiędzy fosą a Łyną.
W początkach XIII w. w ramionach rzek Łyny i Symsarny znajdował się drewniany gródek o nazwie Lecbarg, który należał do pruskiego plemienia Pogezanów. Gródek ten został zdobyty w 1241 roku przez Zakon Krzyżacki, który umocnił go jako budowlę ziemno - drewnianą. Umocnienia te zostały zniszczone w 1242 roku w czasie powstania pruskiego. Odbudowano je ponownie przed 1260 rokiem już jako gród biskupi, gdyż od 1251 należał do biskupów warmińskich i był miejscem o charakterze administracyjnym. Około roku 1350 zapadła decyzja o przeniesieniu z Ornety do Lidzbarka głównej siedziby biskupów warmińskich. Dotychczasowy gród nie spełniał już w tym czasie swojej funkcji obronnej a tym bardziej centralnego ośrodka władzy duchownej i świeckiej w diecezji warmińskiej.
Budowę nowego zespołu obronnego rozpoczął Jan I z Miśni (1350 - 1355), który położył fundamenty i mury trzech skrzydeł zamku. Rozpoczęte dzieło kontynuował jego następca Jan II z Strypok i w latach 1355 - 1373 podciągnięto pod dach cztery skrzydła, wykonano również część sklepień dwukondygnacyjnych piwnic i przyziemia oraz bruzdy pod sklepienia krużganka. Roboty ukończono za rządów biskupa Henryka Sorboma (1373 - 1401). Doprowadzony wówczas do zamku wodociąg między innymi zasilał "wodotrysk w pniu drzewa" usytuowany na środku malowniczego dziedzińca. W tym samym czasie powstały przedzamcza. W południowym mieściła się stajnia i wozownia, zaś w północnym młyn i różne warsztaty rzemieślnicze. Całość w latach 1373 - 1401 otoczono murami obronnymi a od strony południowej, wschodniej i północnej fosą zasilaną z wyżej położonej Symsarny. Tak ukształtowany zespół stanowił do 1772 roku centralny ośrodek władzy świeckiej i gospodarczej na terenie Warmii i kościelnej w diecezji.