El Palacio Imperial ha servido como lugar residencial de los sucesivos emperadores desde 1868. Contiene la residencia imperial y el complejo del palacio imperial, donde Su Majestad el Emperador asume los deberes oficiales. Varias ceremonias y actividades públicas se llevan a cabo allí también. Otros edificios importantes en el palacio incluyen la oficina de la Agencia de la Casa Imperial y el Centro de Sericultura del palacio, donde las sucesivas emperatrices han criado gusanos de seda siguiendo el precedente establecido en 1871 por la emperatriz Dowager Shoken, consorte del emperador Meiji.
Los Jardines del Este del Palacio Imperial se encuentran en la parte oriental de los terrenos del palacio y están abiertos al público.
El palacio imperial ocupa la parte principal del antiguo castillo de Edo. El castillo, creado por primera vez a mediados del siglo XV, fue ampliado masivamente a fines del siglo XVII por Tokugawa Ieyasu, fundador del shogunato Tokugawa. Mientras que Kioto seguía siendo la capital del país, desde donde los emperadores nombraban a los descendientes de Ieyasu como shogunes, el Castillo de Edo, como residencia de los sucesivos shogunes Tokugawa, había servido como centro político de Japón por más de 260 años. Fue entregado al nuevo gobierno formado bajo el emperador Meiji en 1868. Los restos del castillo, como fosos, paredes de tierra y piedra, torres de vigilancia y puertas fortificadas son características destacadas del palacio.