Иван Дмитриевич Рудай родился 22 октября 1935 года в городе Россошь Воронежской области. В 1962 году окончил Воронежский сельскохозяйственный институт, аспирантуру. Учёный-агроном, кандидат сельскохозяйственных наук. Государственный советник Российской Федерации I класса.
Свой трудовой путь начинал рядовым колхозником, служил в армии, работал агрономом, председателем колхоза, начальником районного управления сельского хозяйства.
С января 1970-го по январь 1975 года являлся первым секретарём Яковлевского райкома КПСС, затем директором Центрально-Чернозёмного филиала ВНИИ удобрений и почвоведения. С 1979 года работал в Москве в аграрном отделе ЦК КПСС, а также в Государственной Думе и Совете Федерации. Награждён пятью орденами и медалями.