ساموئل در همیلتون، ویکتوریا، پسر ماری و کلیفورد ساموئل متولد شد. او در آدلاید، استرالیای جنوبی بزرگ شد و در سال ۲۰۰۱ از کالج روسترور فارغ‌التحصیل شد. او یک برادر کوچکتر به نام بندیکت، نویسنده، تهیه‌کننده و بازیگر، و همچنین یک خواهر بزرگتر به نام بریجت، مدیر صحنه، دارد. با وجود گذراندن سال‌های آخر دبیرستان در کالج روسترور، ساموئل سال آخر رشته تئاتر را در کالج برادران مسیحی تحت نظر آماندا پورتوس گذراند، جایی که او نقش تام اسنات (دیوار) را در نمایش «رویای شب نیمه تابستان» شکسپیر در کالج روسترور و همچنین نقش «بلویل» را در نمایش «ولگرد» (کاوالیرهای تبعید شده) اثر افرا بن در شبکه سی‌بی‌سی بازی کرد. خاویر ساموئل بعداً در سال ۲۰۰۵ به مرکز تئاتر دانشگاه فلیندرز رفت و در آنجا زیر نظر استاد بازیگری مشهور، پروفسور جولی هولج، تحصیل کرد. او در این نمایش نقش هملت را در نمایش فارغ‌التحصیلی بازی کرد.