En noviembre de 1973, Black Sabbath publicó Sabbath Bloody Sabbath, disco que fue aclamado por la crítica. En efecto, por primera vez en su carrera, la banda empezó a recibir críticas positivas de la prensa musical generalista. La revista Rolling Stone lo definió como «un asunto extraordinariamente pegadizo», y «nada menos que un completo éxito». Posteriores reseñas, como es el caso de la de Eduardo Rivadavia de Allmusic, mencionan el álbum como una «obra maestra, esencial para cualquier colección de heavy metal», que presenta «una recién hallada sensación de finura y madurez». El álbum se convirtió en el quinto consecutivo del grupo en alcanzar el disco de platino en los Estados Unidos, llegando al número cuatro en las listas británicas y el once en las estadounidenses. La banda comenzó una gira mundial en enero de 1974 que culminó en el festival California Jam en Ontario ante 260.000 personas, junto a otras bandas como Emerson, Lake & Palmer, Deep Purple, Earth, Wind & Fire y Eagles. Parte de este concierto fue emitido por la cadena ABC en Estados Unidos, dando a conocer a la banda ante una mayor audiencia. Ese año la banda rompió el contrato con su representante Jim Simpson y contrató a Patrick Meeham. Este cambio trajo consigo disputas legales con Simpson que provocaron la ausencia de los estudios de grabación de la banda durante dos años.
Black Sabbath comenzó a trabajar en su sexto álbum en febrero de 1975, en los Morgan Studios de Willesden, Inglaterra, con un nuevo representante, Don Arden, y con una clara intención de cambiar el sonido de Sabbath Bloody Sabbath. «Podíamos haber continuado y seguir y seguir, volviéndonos más técnicos, usando orquestas y todo eso que particularmente no queríamos. Nos miramos a nosotros mismos y quisimos hacer un disco de rock; Sabbath Bloody Sabbath no era un disco de rock, realmente». Producido por Black Sabbath y Mike Butcher, Sabotage salió al mercado en julio de 1975. De nuevo, el álbum recibió críticas positivas, ya que Rolling Stone afirmó que «Sabotage no es sólo el mejor álbum de Black Sabbath desde Paranoid, puede que sea el mejor de todos», aunque posteriores críticos notaron que «la química mágica que hizo álbumes como Paranoid y Volume 4 estaba empezando a desintegrarse».
Sabotage alcanzó el top veinte tanto en los Estados Unidos como en el Reino Unido, pero fue el primer álbum que no consiguió el disco de platino en Estados Unidos, llegando solo al disco de oro. Aunque el único sencillo del álbum, «Am I Going Insane (Radio)», no consiguió entrar en las listas de éxitos, Sabotage contiene canciones clásicas como «Hole in the Sky» y «Symptom of the Universe». Black Sabbath realizaron una gira mundial con Kiss, pero se vieron forzados a dejarla en noviembre de 1975 tras un accidente de moto en el que Osbourne se lesionó la espalda. En diciembre la compañía discográfica de la banda publicó un álbum recopilatorio de grandes éxitos sin consultárselo a la banda, titulado We Sold Our Soul for Rock 'n' Roll. El disco vendió dos millones de copias en los Estados Unidos.
Black Sabbath comenzó a trabajar en su siguiente álbum en los Criteria Studios de Miami en junio de 1976. Con la intención de expandir su sonido, la banda contrató al teclista Gerry Woodruffe, que ya había hecho alguna aparición en Sabotage. Technical Ecstasy, publicado el 25 de septiembre de 1976, fue recibido con críticas encontradas, y por primera vez no consiguió mejores críticas a medida que pasaba el tiempo. Dos décadas después de su lanzamiento Allmusic le otorgó dos estrellas de cinco y dijo que la banda se estaba «deshaciendo a una velocidad alarmante». Este disco presenta un sonido menos opresivo y oscuro en favor de la introducción de sintetizadores y canciones más rápidas. Technical Ecstasy no consiguió entrar entre los cincuenta álbumes más vendidos en los Estados Unidos, y fue el segundo trabajo consecutivo que no alcanzó el disco de platino, aunque fue certificado como disco de oro en 1997. El álbum contiene la canción «Dirty Women», un fijo en los conciertos del grupo, y la primera aparición como vocalista principal de Bill Ward en la canción «It's Alright». La gira de promoción del álbum comenzó en noviembre de 1976, teniendo de teloneros a Boston y Ted Nugent en los Estados Unidos y a AC/DC en Europa, donde finalizó en abril de 1977.
La banda pasó cinco meses en los Sounds Interchange Studios de Toronto, Canadá, escribiendo y grabando lo que acabaría siendo Never Say Die!. «Nos llevó bastante tiempo», dijo Iommi. «Nos estábamos drogando mucho, fumando montones de porros. Íbamos a las sesiones pero teníamos que irnos porque estábamos demasiado drogados, teníamos que parar. Nadie hacía nada bien, estábamos dispersos, todo el mundo tocando algo distinto. Teníamos que volver y descansar, e intentarlo al día siguiente». El álbum fue publicado en septiembre de 1978, escalando hasta el número doce en el Reino Unido y el sesenta y nueve en los Estados Unidos. Las críticas no fueron buenas y, de nuevo, tampoco lo fueron con el paso del tiempo. Allmusic opinó que «las canciones desenfocadas reflejaban perfectamente las tensiones en el personal y el abuso de las drogas». El álbum produjo los sencillos «Never Say Die» y «Hard Road», que llegaron al top cuarenta en el Reino Unido, mientras que la banda hizo su segunda aparición en el Top of the Pops tocando la canción «Never Say Die». Tan solo veinte años después de su salida Never Say Die! consiguió el disco de oro en los Estados Unidos.
Después de la gira, Black Sabbath regresó a Los Ángeles y de nuevo los miembros alquilaron una casa en Bel Air, donde pasaron casi un año trabajando en material nuevo para otro álbum. A causa de la presión por parte de la compañía discográfica y la falta de ideas de Ozzy Osbourne, Iommi tomó la decisión de despedir a Osbourne en 1979. «En ese momento, Ozzy había llegado a su fin», explicó Iommi. «Todos estábamos muy metidos en la droga, mucha cocaína, mucho de todo, y Ozzy se emborrachaba mucho en esa época. Se suponía que debíamos estar ensayando pero nadie hacía nada. Era como: "¿Ensayamos hoy? No, mejor mañana". Todo se puso tan mal que no hacíamos nada. Simplemente se esfumó». Bill Ward, amigo íntimo de Osbourne, fue el elegido por Iommi para informarle sobre su despido. Ward declararía: «Espero haber sido profesional, de hecho puede que no lo fuera. Cuando estoy borracho soy horrible, soy horroroso. El alcohol fue definitivamente una de las cosas más perjudiciales para Black Sabbath. Estábamos destinados a destruirnos los unos a los otros. La banda era tóxica, muy tóxica».