Malgré leur absence de racines dans le terroir, les Larrieu jouent un rôle prépondérant dans l'évolution des vins de Haut-Brion. Ils agrandissent et consolident le domaine. Leurs efforts sont récompensés en 1855 quand Château Haut-Brion est classé, au même titre que Château Latour, Château Lafite et Château Margaux, "Premier Grand Cru". C'est le seul cru des Graves inclus dans cette classification qui fait encore autorité de nos jours.

Joseph-Eugène Larrieu (1777-1859).

Il achète le domaine de Haut-Brion à la vente aux enchères du 12 mars 1836. En 1841, il acquiert le tiers appartenant à la comtesse de Vergennes, fille du marquis de Catellan. Pour la première fois depuis 1694, le domaine retrouve son unité.

Joseph séjourne peu à Pessac mais confie son exploitation à des régisseurs énergiques et capables. Son attention et leurs compétences font que Haut-Brion se trouve premier grand cru dans le classement des vins de la Gironde en 1855.

Amédée Larrieu (1807-1873). Après ses études de droit, Amédée séjourne deux ans aux Etats-Unis. Il en revient acquis aux idées républicaines. En 1848, partisan de Lamartine, il est élu député républicain modéré. En 1851, il refuse le Second Empire et perd son siège. Après 1870, il est réélu député, puis devient préfet de la Gironde. Les Bordelais disent fièrement de lui qu'il incarne "l'esprit des Girondins de la Révolution".

Comme son père, Amédée séjourne plus souvent dans sa propriété de la Vienne qu'à Haut-Brion et confie le domaine à ses régisseurs. Sur leur conseil, il modernise les chais, supervise la vinification et développe les débouchés sur le marché anglais.

Ses efforts sont toutefois très ralentis par les désastres naturels : l'oïdium dans les années 1850, puis le phylloxéra qui sera le problème de son fils.

Eugène Larrieu (1848-1896). Né à Château Haut-Brion, avocat comme son père, Eugène est, politiquement parlant, à l'opposé : royaliste convaincu, il est partisan de la fermeté dans l'exploitation de son domaine et institue une discipline quasi-militaire parmi ses vignerons.

Eugène fait face à deux fléaux. Le phylloxéra atteint les Graves à la fin des années 1880. Tout d'abord, Eugène pense qu'"il n'osera pas se présenter ici". Quand le phylloxéra arrive, il doit replanter une grande partie de Haut-Brion. Auparavant, il a lutté contre le mildiou.

Eugène meurt sans héritier direct. Le domaine passe aux mains de neveux jusqu'en 1922.

En 1923, après les multiples problèmes dus à l'indivision, Haut-Brion passe aux mains de la Compagnie algérienne, une banque. Celle-ci vend ensuite le domaine à un personnage excentrique, mais bon viticulteur, André Gibert. Malgré un goût prononcé pour les procès et une tendance à l'expérimentation en vinification, Gibert gère Haut-Brion à travers les moments difficiles engendrés par la crise de 1929. En 1934, âgé, malade et sans héritier, il songe à faire don de Haut-Brion à la ville de Bordeaux qui refuse par crainte des coûts d'entretien. L'année suivante, en 1935, Clarence Dillon se porte acquéreur de Château Haut-Brion.