בין חברי האינטרנציונל השני לא נוצר מעולם קונצנזוס, עם זאת, יצויין, כי על אף שבקונגרסים נתגלעו פערים אידיאולוגיים רבים, הרי שהסיעתיות באינטרנציונל השני היתה מעטה ביחס לקודמו.
ניתן לייחס תופעה זו לשני גורמים עיקריים: האינטרנציונל השני היה ריכוזי פחות משהיה האינטרנציונל הראשון, ולמעשה, לא היווה אלא סמכות מוסרית ערטילאית, אך נטולת כל סמכות יישומית בקרב האירגונים המסונפים לה. שנית, בתקופה זו היתה הדוקטרינה המארכסיסטית מושרשת היטב בהוויה הסוציאליסטית, וכל חברי האינטרנציונל אימצו לעצמם משנה מארכסיסטית לכאורה.
עם זאת, לא שררה באינטרנציונל השני הרמוניה רעיונית; בתקופה זו, בה פרחו המפלגות הסוציאליסטיות באופן חסר תקדים, עלתה שאלת השתתפותן של המפלגות הסוציאליסטיות בפרלמנטים וממשלות.
ב- 1899 הצטרף אלכסנדר מילרנד (Millerand), מן הסוציאליסטים הבלתי-תלויים הצרפתים, כשר התעשיה בקבינט הצרפתי "הבורגני". היתה זו תקופה של זעזועים לדמוקרטיה הצרפתית, פרשת דרייפוס היתה בעיצומה, ומילרנד קיווה שבהצטרפותו לממשלה יוכל להציל את צרפת ממפלה.
הצטרפותו עוררה תגובות סותרות בקרב הסוציאליסטים הצרפתים; ז'אן ז'ורס, מן המובילים שבסוציאליסטים הצרפתים, תמך בו, בטענה שהכח הפוליטי אשר ניתן למילרנד יחזק את מעמד הפועלים, יעלה את המוראל בקרב הפרולטריון המדוכא ויקל עליו. כנגדו, טען ז'יל גד, כי הצטרפות לקבינט הצרפתי, הריהי בגידה ברעיון המהפיכה, ואותן רפורמות קצרות טווח עשויות להוות "שוחד" מטעם הממשלה על-מנת להחליש את הלהט המהפכני הפרולטרי. גד אף הגדיל לעשות כאשר סירב לגנות את משפט דרייפוס, בטענה שמדובר בסכסוך בין בורגנים, אשר אין לו, לפועל, עניין בו.
פלוגתא קשה עוד יותר נתגלעה בין המארכסיסטים הגרמנים לזרם סוציאליסטי גרמני חדש בהנהגת אדווארד ברנשטיין, אשר נתכנה "הזרם הרוויזיוניסטי".
ב- 1899 פירסם ברנשטיין, ממובילי המפלגה הסוציאל-דמוקרטית הגרמנית, את ספרו השערורייתי: "הסוציאליות בעבר ובהווה" (Die Voraussetzungen des Sozialismus" und die Aufgaben der Sozialdemokratie").
ברנשטיין טען, ברוח הפאביאנים האנגלים, שנבואותיו של מארכס, אשר צפה את התרוששותו המתמדת של הפרולטריון, לא התגשמו, ולהיפך - בשלהי המאה חלה הטבה בתנאי החיים והעבודה של הפועלים. לפיכך, טען ברנשטיין, יש לרענן את הדוקטרינות המארכסיסטיות ולהתאימן למציאות החדשה.
הספר גרם לזעזוע קשה למפלגה הסוציאל-דמוקרטית הגרמנית, ולזמן קצר דומה היה שהיא עומדת בפני התפוררות. אולם בקונגרס הסוציאל-דמוקרטי אשר התכנס בדרזדן ב- 1903, הביסו בבל וקאוטסקי את הרוויזיוניסטים, עת הוקיע הקונגרס את עמדותיו של ברנשטיין באופן חד משמעי.
פילוגים דומים נפוצו בכל אירופה.
יתרה מכך, הסכסוך המסורתי בין אנארכיסטים למארכסיסטים, אשר מקורו באינטרנציונל הראשון, לא פסח גם על האינטרנציונל השני.
בקונגרס השני של האינטרנציונל, אשר נערך בבריסל ב- 1891 חלה התנגשות בין המארכסיסטים, אשר תמכו בהקמת מפלגות סוציאליסטיות, לבין האנרכיסטים, אשר שללו כל פעולה פוליטית.
בקונגרס השלישי, שהתקיים בציריך ב- 1893, גונו האנרכיסטים וב- 1896, החליטו הצירים אשר התכנסו בקונגרס הרביעי בלונדון, על סילוק הקבוצות האנרכיסטיות והאנטי-פרלמנטריות מן האינטרנציונל.