בתום מלחמת העולם הראשונה נחשב וייס ליד לואיס מארשל וברנדייס למנהיג היהודי האמריקני הבכיר ביותר. הוא פעל למעשה בשלוש מסגרות ציבוריות. כפעיל ציוני הוא עמד בראש התנועה הציונית בארצות הברית, היה מקורב בתקופה מסויימת לוייצמן ואחר כך לבן גוריון. הוא נשלח לשליחויות שונות מטעם התנועה, כמו נציגה לוועידת השלום בוורסאי או כראש המועצה הציונית לשעת חרום, אשר מאז 1940 ניסתה להאבק בנאצים ולתמוך בקהילות היהודיות באירופה. במאבק על הקמת מדינת ישראל הוא עזר לשכנע את הממשל האמריקני לתמוך באינטרסים הציוניים בארץ-ישראל. וייז פעל גם במסגרת הקהילה היהודית והוא היה כאמור ממיסדי הוועד היהודי האמריקני ונשיאו מאז 1935 ועד מותו. במסגרת פעילותו הציבורית הוא היה מעורב גם בפוליטיקה האמריקנית הפנימית, והיה מקורב לנשיא פרנקלין רוזוולט.