במהלך הקונגרסים הראשונים פרץ ויכוח חריף בין הצירים על אופייה התרבותי של ההסתדרות הציונית.
בעקבות זאת החליט ריינס עם תומכיו להקים את תנועת המזרחי שיועדה להגן על הציונות הלאומית הדתית בתוך ההסתדרות הציונית. המזרחי בהנהגת ריינס הפכה לתנועת כוח פוליטית חזקה ביותר. ברוסיה עצמה הוקמו עשרות אגודות וכן הוקמה המזרחי העולמי. ריינס הפך לאישיות מרכזית בתנועה למרות שרבים התנגדו לו.
הרצל ראה בריינס דמות מפתח בתנועה, במיוחד לאחר שזכה לתמיכתו בפרשת אוגנדה. לאחר מותו של הרצל המשיכה המזרחי במאבק למען ציביונה הלאומי דתי של ההסתדרות הציונית.
ריינס שעמד בראש המזרחי, היה בסופו של דבר דמות מתונה שביקשה דווקא להקהות את המתח בין תומכיו לבין אלה שבקשו לראות בציונות תנועה חילונית באופייה. הישיבה שהתקיימה בלידא תחת הנהגדו הוותה דוגמה לישיבה שבה ניתן לרכוש ערכים לאומיים וציונים בניגות לרוב הישיבות המצויות. בכך תרם ריינס תרומה ייחודית להתפתחות ההסתדרות הציונית.
בנוסף לכך, כתב ספרים רבים בנושאי הלכה וציונות.
נפטר בשנת 1915 ונקבר ברוסיה.