Emile Hirsch est né le 13 mars 1985 à Topanga en Californie (États-Unis). Il passe une partie de son enfance à Santa Fe, au Nouveau-Mexique. C'est le fils de Margaret Davenport, une artiste et de David Hirsch, un producteur et manager. Il a également une grande sœur, Jennifer, qui l'a initié au métier d'acteur.