נולד בעיירה לוצקי שבליטא בשנת 1858 תחת השם אליעזר יצחק פרלמן. אביו, איש חב"ד, נפטר כאשר היה בן יהודה בן חמש והוא נשלח לדודו בעיר פולוטסק, שם סיים את החדר והתקבל לישיבה. דווקא שם פגש לראשונה באמצעות אחד ממוריו בערכים משכיליים ולאחר זמן הוא הפך למשכיל ועבר לעיר דווינסק כדי לסיים את חוק לימודיו בגימנסיה כללית להכשרת לימודים גבוהים. לאחר סיום לימודיו בגימנסיה הוא נסע ב-1878 לפריס כדי ללמוד שם רפואה. ואולם לאחר שלוש שנים הפסיק את לימודיו בגין מחלת השחפת שלקה בה ובשנת 1881 עלה לארץ-ישראל. מאז פנה להשכלה נטה בן-יהודה לאמונה בלאומיות היהודית ובהגשמתה העצמית. במאמרים שפרסם מאז 1878 ביקש להחיות מחדש את הלאומיות היהודית בעיקר באמצעות השפה העברית והפיכתה משפת קודש לשפה מדוברת.
בבואו לירושלים הוא החליט להגשים את רעיונותיו הלכה למעשה.