באוגוסט 1973, כשהם בשפל הנפשי הגדול של חייהם, האחים אולמן הוציאו את Brothers & Sisters, שיא ההצלחה המסחרית שלהם וההישג האומנותי אחרון של מה שנותר מההרכב המקורי.
באמצע העבודה על האלבום, ושנה בלבד אחרי שהם איבדו את המנהיג והמייסד דווין אולמן, בתאונת אופנוע מזעזעת, הם גם איבדו את חברו, בסיסט הלהקה בארי אוקלי. אוקלי לא הצליח להתאושש ממותו של דווין, למעשה אף אחד מחברי הלהקה לא הצליח אבל כולם התמקדו במוזיקה כדי להתכחש לכאב. עבור אוקלי זה לא עבד. הוא איבד גם את התשוקה למוזיקה ובנובמבר 1972, גם הוא מצא את מותו בעקבות תאונת אופנוע, כשלושה בלוקים מהמקום שבו דווין איבד את חייו.
חברי הלהקה החליטו שכדי לא לגמור כמו אוקלי הם חייבים להישאר עסוקים והעבודה על האלבום המשיכה. את אוקלי החליף הבסיסט לאמר ויליאמס ואת דווין לא החליף איש. במקום להוסיף עוד גיטריסט ולנסות לשחזר את סאונד הגיטרות הכפולות של דווין והגיטריסט דיקי בייטס, האולמנים שינו כיוון. הם צירפו את הפסנתרן צ'אק לאבל ויצרו שילוב חדש.
גרג אולמן, האח הקטן, התקשה להמשיך לעבוד עם הלהקה של אחיו ללא הנוכחות והתמיכה שלו והוא ניסה לטשטש את הכאב בעזרת סמים, מה שהקשה על עבודת האלבום. מי שהיה אחראי על מרבית השירים של הלהקה עד כה לקח צעד אחרונה ובמקומו נכנס דיקי בייטס שהשתלט על הניהול האומנותי ומשך לכיוון הקאנטרי עם הרבה פחות בלוז וחיספוס. התוצאה הייתה אלבום עם להיטים כמו Ramblin' Man ו-Jessica.
לציון 50 שנה לצאת האלבום, תומר מולוידזון ממשיך את סדרת הספיישלים אודות האחים אולמן וחוזר על האלבום שחתם את תור הזהב של הלהקה.