A superbanda composta por Ben Gibbard, Jimmy Tamborello (também conhecido pelo seu projecto Dntel) e Jenny Lewis nasceu em 2001 para uma vida curta. Até 2005, ano em que ditaram o seu primeiro fim (em 2013 reuniram-se para editar duas canções e assinar o fim irrevogável), os Postal Service lançaram apenas um álbum e aquele que viria a ser o seu único. Give Up anunciou o seu primeiro single “Such Great Heights” no ano em que foi lançado, em 2003, mas só dois anos depois é que a banda norte-americana apostou neste quarto single, “We Will Become Silhouettes”.