История города Семей начинается с российской крепости, заложенной на Иртыше в 1718 году. Название крепости — Семипалатинская — напоминает о том, что рядом с ней стояли «семь палат»: семь буддистских пагод, к тому времени давно разрушенных казахско-джунгарскими войнами и заброшенных. К концу XVIII века крепость перенесут на более надёжное место. Изначальное место её расположения — теперь посёлок Старая крепость, популярное место отдыха у горожан. А поселение при крепости станет уездным городом, который унаследует от крепости название Семипалатинск.
От квадратной крепости с четырьмя оснащёнными пушками бастионами посередине фронтов до наших дней дошли только Ямышевские ворота. Впрочем, нынешние ворота — уже реконструкция: оригинал XVIII века разобрали в 1970-х (он не вписался в пересечение улицы Абая с железной дорогой) и построили на новом месте. Зато пушки XVIII века у ворот — самые настоящие.
Бывший дом генерал-губернатора построен в середине XIX века. В советское время роскошное здание занимали разные учреждения, пока в 1977 году здесь не обосновался краеведческий музей. К тому моменту у музея уже была долгая история: он основан политическими ссыльными в 1883 году, так что это — один из старейших музеев Казахстана. В становлении музея в своё время поучаствовали такие видные горожане как поэт Абай и писатель Мухтар Ауэзов. Сейчас в музее выставлены коллекции, посвящённые геологии и палеонтологии, природе Семейного региона, истории края — от находок археологов до современности.
Памятник жертвам испытаний на Семипалатинском ядерном полигоне. С 1949 по 1989 году на полигоне, который находится в 130 км от города, прошло не менее 468 ядерных испытаний, из них 125 — в атмосфере. Говорить об этом открыто стало возможно лишь в перестройку. После закрытия полигона в 1991 году пострадавшими от ядерного загрязнения только официально признали более миллиона человек.
Мемориал открылся в 2001 году. Это 25-метровая железобетонная стела с силуэтом атомного гриба, а под ней — беломраморная скульптура матери, защищающей своим телом ребёнка.
Архитектор памятника Шота Валиханов, кстати, родственник уже упомянутому путешественнику Чокану Валиханову (а также соавтор современного герба Казахстана).