ارنست اندرسون در لین مایس، ماساچوست متولد شد و دیپلم دبیرستان خود را در واشنگتن دی‌سی، در دبیرستان Dunbar برای جوانان رنگین پوست، به دست آورد. این مدرسه در سال ۱۸۹۱ تأسیس شد و اولین دبیرستان عمومی آمریکا برای دانش‌آموزان سیاه‌پوست بود. او مدرک کارشناسی خود را از دانشکدهٔ دراما و گفتار دانشگاه نورث‌western دریافت کرد. سپس به هالیوود رفت و در بخش خدمات در زمان فیلم In This Our Life (1942) مشغول به کار شد. آقای اندرسون مدیریت کارگردان، جان هاستون را متقاعد کرد تا دیالوگ‌های نژادپرستانهٔ شخصیتش را که در آن دوران رایج بود به صدایی با شایستگی و احساس تبدیل کند. پس از خدمت در جنگ جهانی دوم به استودیو Warner Brothers بازگشت و به انسان‌سازی نقش ادامه داد.