לאחר כיבוש יהודה על ידי האימפריה הרומית ועלייתו של הורדוס לשלטון, החלה ירושלים לחוות תקופת שגשוג. הורדוס יזם מפעלי בנייה רבים בכל יהודה. בירושלים הרחיב את בית המקדש. בנוסף, בתקופה זו ירושלים התרחבה מחוץ לתחומיה של עיר דוד לאזור העיר העתיקה של ימינו. אחד הסימנים המובהקים לתקופת שגשוג זו הינם בתי הקברות הגדולים שנמצאו באזור הסובב את ירושלים. זוהי עדות לגודלה של העיר בתקופה זו.
אולם, בעקבות הכרזת המרד הגדול ברומאים בשנת 66, האימפריה הרומית שלחה כוחות גדולים לדיכוי המרד ולכיבוש ירושלים. בשנת 70 הטיל הצבא הרומי מצור על העיר. בסופו של המרד העיר נפלה ובית המקדש נחרב.
בעקבות חורבנה של ירושלים במרד, הורה הקיסר הדריאנוס על בנייתה של העיר מחדש כעיר פגאנית בשם איליה קפיטולינה. העיר לא נבנתה באזור עיר דוד, אלא במקום בו בנויה כיום העיר העתיקה של ירושלים. העיר נבנתה על פי דגם המקובל בעולם הרומאי. היא חולקה לארבעה רובעים על ידי שני רחובות ראשיים מאונכים זה לזה: רחוב אחד שנע מצפון לדרום נקרא הקארדו, ורחוב שני שנע ממזרח למערב נקרא הדקומנוס. דגם תכנוני זה נשמר עד היום.
בשנת 132 פרץ מרד בר כוכבא כנגד האימפריה הרומאית. למרות שבתחילה מרד זה נחל הצלחה מסוימת והכוחות המורדים כוננו שלטון עצמאי, גם מרד זה דוכא. לאחר דיכוי המרד נאסר על יהודים להיכנס לתחומי העיר.