Je n'ai "que" le 70-200 en ouverture f/2.8... et il me sert plus souvent pour le portrait (où le f/2.8 est intéressant). Je l'ai aussi utilisé avec un doubleur pour des voyages pour en faire un objectif très polyvalent : du portrait, de l'architecture (détails), ou de l'animalier (200-400 f/5.6) en ayant un encombrement réduite. Après, j'utilise assez peu le doubleur, mais ça dépanne très bien en voyage itinérant.
Pour les voyages où j'ai le choix (genre on a une base de départ, et on rayonne autour par exemple), c'est clair que je préfère le 500 f/4. Plus lourd, encombrant, mais tellement plus agréable.
Comme dit au dessus, l'ouverture permet à l'AF d'être plus efficace, on peut y mettre facilement un doubleur, et parfois, on a besoin de cette ouverture pour avoir un minimum de vitesse.
Maintenant, comme dit au dessus, je préfère largement le 500 f/4 pour l'animalier... je n'ai jamais été limité par son ouverture (ou presque). Mais je fais surtout du piaf (pas de mammifère à la tombée de la nuit)
Il faut surtout trouver le bon compromis qui te conviens. Certains vont préférer un 300 f/2.8 quitte à y mettre un doubleur de temps en temps, d'autre (dont moi), vont trouve le 500mm idéal comme focale, et le f/2.8 n'existant pas (enfin si, le 200-500 f/2.8 chez sigma ... qui n'est pas dans mes moyens)... c'est le bon compromis entre qualité, poids, prix, encombrement et ouverture.