Par la suite, il est fait mention d'eux au moment des invasions barbares (au Modèle:Ve siècle).
Leur berceau se serait situé au sud de la Scandinavie actuelle et au nord de l'Allemagne, entre la Weser, l'Elbe et l'Oder.
Au IIIe siècle, les Lombards, alors établis en Autriche et qui ne font irruption en Occident qu'en 568, sont alliés ou vassaux des Hérules.
Au Ve siècle, ces derniers possèdent un royaume le long du Danube, bien qu'étant sans doute peu nombreux : c'est probablement de là que part la bande armée dont Odoacre, par ailleurs un des leurs déjà établi en Italie, prend la tête. Ce dernier incendie Pavie, pille Rome et dépose l'empereur Romulus Augustule, se faisant proclamer « roi des barbares et empereur des Romains ». Cet épisode est surtout connu pour avoir été interprété par l'Historiographie comme la chute de l'Empire romain d'Occident.
Tous les Hérules ne semblent pas, toutefois, s’être établis sur le Danube entre le IIe siècle et le Ve siècle. Leur présence, en effet, est attestée durant les années 402-407 dans des bandes armées barbares, aux côtés de Frisons et de Saxons, qui font de la piraterie sur les côtes de la Manche. Ceux-là mettent à mal les défenses côtières de l’Empire romain (la marche militaire côtière d’Armorique ou Litus armoricus) et établissent des postes d’observation ou de petits établissements de peuplement jusque sur la côte atlantique.
Après 476, d'autres Hérules servent dans l'armée de Théodoric, s'intégrant aux Goths que l'Empereur d'Orient, Zénon a chargé de récupérer un morceau de l'Empire d'Occident, alors aux mains d'Odoacre, ce qui montre les divisions qui pouvaient exister entre eux.
Vers 491, Théodoric, vainqueur des Vandales noue des contacts avec les Hérules danubiens pour se prémunir de la pression des Alamans.
Odoacre est quant à lui renversé par Théodoric en 493 et sa bande armée est chassée d'Italie, alors que le roi gothique fonde le royaume de Ravenne.
En 550, la présence d’environ 3000 Hérules est encore attestée le long de la ligne de défense danubienne ou limes danubien, à Sirmium et à Singidunum, mais ceux-ci avaient été établis là en 512.
Par la suite, les Hérules disparaissent de l'Histoire se fondant sans doute avec les Lombards, fraîchement arrivés et en grand nombre.