מאז הגיע בן-יהודה לירושלים הוא הפך לאחד האישים הבולטים בה זאת בזכות פעילותו למען החייאת השפה העברית, פעילותו הפובליציסטית ועיסוקיו החברתיים והפוליטיים. את פעילותו למען השפה העברית ניתן לראות בארבעה מישורים. הוא הנהיג את השפה בביתו, והכריח את בני ביתו לשוחח רק בעברית. בשנת 1884 ייסד את העיתונים - "הצבי" ו"מבשרת ציון" - שמלבד זה שיצאו בשפה העברית הוא הביע בהם את השקפת עולמו הרואה בחידוש השפה העברית כאבן פינה להוויה הלאומית היהודית. בנוסף לכך ייסד את העיתונים "השקפה" ו"האור" ואת עיתון הילדים "עולם קטון".
הוא פתח מספר חוגים וקבוצות, שהמפורסמת בהם הייתה אגודת "תחיית ישראל", שבה היו חברים מהאינטלקטואלים הבולטים בירושלים (דוד ילין, פינס ואחרים) שביקשה להפיץ את השפה והתרבות העברית. הוא כתב מספר רב של מאמרים שצידדו במאבקו למען העברית; הוא החל בכתיבת מילון עברי וראה בו את מפעל חייו. עתוניו של בן יהודה, לבד מכך שהם שרתו את רעיונו בדבר מקומה של השפה העברית, היוו לו גם במה להפצת רעיונותיו החברתיים והתרבותיים. הוא טען ששיטת החלוקה על פיה חיו תושביה היהודים של ארץ-ישראל מזה מאות שנים, חייבת לעבור מהעולם, והיישוב היהודי חייב לעבור פרודוקטיביזציה. הוא צידד בפעילות חובבי ציון ובמיוחד באחד העם וברעיונותיו התרבותיים, ותמך בלהט בתכנית אוגנדה. אין תמא שראשי היישוב הישן ראו בבן יהודה דמות שלילית, וב-1894 הם ניסו להפלילו, והוא אף נאסר על ידי השלטונות העות'מאניים בשל כך, אך שוחרר בלחץ ציבורי גדול.
במשך השנים הפך בן יהודה לדמות מפתח בירושלים וביישוב היהודי כולו, ואולם יחד עם זאת הוא היה תמיד בעין הסערה.
ב-1914 הוא נסע למספר שנים לארצות הברית ובתום המלחמה חזר ונפטר בירושלים בשנת 1922.