Действие «Того Города» разворачивается одновременно в двух временных пластах – в начале и в конце двадцатого века. Первая сюжетная линия отслеживает трагическую биографию художницы Ольги Ярмошевской. У Ольги неправильное происхождение, неправильная профессия, неправильные взгляды и неправильный муж. Её отчаянные попытки остаться в стороне от политики, прожить тихую частную жизнь кончаются крахом. Случайно услышанная легенда о таинственном Том Городе ставит Ольгу перед трудным нравственным выбором.

Вторая сюжетная линия рассказывает об отношениях Ольги, работающей художником-реставратором в Павловске, со старшеклассником Андреем. Андрей, уверенный в случайности их знакомства, не подозревает, а Ольга по ряду причин не может рассказать ему некую тайну. Но когда Ольга безнадежно заболевает, она вынуждена рассказать Андрею правду. Андрей тяжело переживает то, что кажется ему многолетним обманом, но все-таки возвращается к Ольге, и она обращается к нему с просьбой: попробовать найти Тот Город.