Andrew Ray urodził się 31 maja 1939 r. jako Andrew Olden. Ray to pseudonim sceniczny jego ojca Teda Raya, słynnego komika radiowego. Chłopiec wychowywał się wraz ze starszym o pięć lat bratem Robinem, który w późniejszych latach zasłynął jako nadawca i osobowość radiowa. W wieku 10 lat Andrew wziął udział w castingu i został obsadzony w roli Wheelera – dziecka ulicy, które marzy o tym, żeby spotkać królową w dramacie politycznym „Mudlark„. Była to w zasadzie rola pomocnicza, ale tak znacząca, że z miejsca uczyniła z niego dziecięcą gwiazdę.
Dwa lata po debiucie dwunastoletni Andrew zagrał w świetnym thrillerze J. Lee Thompsona „Żółty balonik” („The Yellow Baloon”). Miał do zagrania trudną rolę Frankiego – wystraszonego, obwiniającego siebie o śmierć kolegi nastolatka, który pakuje się w coraz większe problemy za sprawą przebiegłego szantażysty i złodzieja Lena. Poradził sobie tak znakomicie, że do dziś jest znany jako dziecięca gwiazda, choć w dorosłym życiu zagrał w ponad 50 produkcjach!