Ellidshøj har sit navn efter den stendysse fra omkring 3000 f.Kr., der ligger midt i byen. Den er det synlige bevis på, at bønder tidligt har bosat sig i området. Landsbyen er blevet placeret som det ofte er tilfældet på grænsen mellem agerland og eng. Mod vest hæver landskabet sig med Bavnehøj som højeste punkt 64 m.o.h., og mod øst den brede Østerådal.

Fra gammel tid har den gamle østjyske hovedfærdselsåre gået gennem byen, og først i slutningen af 1950erne førtes hovedvejen i sit nuværende forløb vest om byen. 

Den lille romanske kirke er bygget i den store byggeperiode fra 1150-1175 uden tårn men med en klokkestabel. I kirkens østgavl hænger den gamle klokke, som er én af Danmarks ældste.

Ellidshøj og Svenstrup sogne har fra sogneinddelingen i middelalderen altid udgjort ét pastorat og Ellidshøj var indtil 1992 hovedsognet. Her lå også præstegården indtil 1924, hvor den blev nedrevet og en ny præstebolig opførtes i Svenstrup. Fra 1997 har Ellidshøj atter fået en præstebolig.

Det er karakteristisk for Ellidshøj, at de fleste af de gamle gårde ligger på deres oprindelige pladser. Ved udskiftningen i 1793 blev det ikke nødvendigt at udflytte nogen af gårdene. Der er derfor mange oprindelige træk af den gamle landsby tilbage.

I 1869 blev jernbanestrækningen Randers-Aalborg anlagt, og få år efter fik Ellidshøj sin station.Det kom bl.a. til at fremme udnyttelsen af de store kridt- grus- og tørveforekomster, der findes i Ellidshøjs omegn. I samme periode og frem til 2. verdenskrig voksede Ellidshøj og fik både håndværkere og købmænd, men den følgende tid betød afvandring og lukning af en del af disse virksomheder. Efter stilstandsperioden kom der dog gang i udstykningerne, og nye boligkvarterer skød op både syd og nord for den gamle landsby. Ellidshøj blev forandret fra at være en udpræget bondelandsby til en villaby med kun få tilbageværende virksomheder.