Следующие десять лет для Гарри были полны оскорблений и лишений. Жил он у своей Тети Петунии и его дяди Вернона, которые до безумия любили своего сына Дадли, которого всегда баловали. Гарри же ел объедки, донашивал старую одежду Дадли и жил в чулане. Все в этом доме орали на него и били. Дадли особенно жестоко издевался над Гарри, пользуясь поддержкой родителей, а также своей физической силой, он был больше Гарри в шесть раз. Тетя с дядей отправили Гарри в ту же школу, что и Дадли, который и в школе со своими дружками продолжал издеваться над Гарри. Три раза за это время семью Друслей навещала сестра дяди Верона Мардж. Она, как и все в этом доме, получало огромное удовольствие, когда отчитывала и ругала Гарри. Однажды, когда Гарри было девять лет, любимый бульдог Вероны загнал мальчика на дерево, где ему пришлось отсиживаться далеко за полночь, пока Мардж не отозвала собаку.