计算机科学家高德纳对数字的痴迷很早就表现出来。
他在 13 岁时参加了一家糖果公司的比赛：公司名字中的字母可以组合成多少个单词。为了投入比赛高德纳甚至说服父母告诉学校他生病了，得到了两周的假期去研究这个问题。公司认为它们的名字可以组合成大约 2000 个单词，但高德纳的结果是 4700 多个。他获得了电视上亮相的奖励，并给全班同学带去了巧克力。
他之后还获得了更多荣誉，其中包括图灵奖。
他对离散数字问题和大信息集合的热爱最终融合进了他的著作《计算机编程艺术》。这套书从他研究生时就开始写，至今没有完成。他在 1968 年出版的第一卷至今已连印了 42 次，第二卷在 1969 年出版，第三卷是在 1990 年出版。这套书计划出版七卷，而 82 岁高龄的高德纳正在完成第四卷的 B 部分，他预计第四卷将由 A 到 F 这六个部分构成。
他曾搁置《编程艺术》的写作花了近 10 年时间开发了 TeX，帮助科学论文能更美观和更容易阅读和理解。高德纳说，他认为自己是记者，热爱讲故事，他的《编程艺术》写的是算法的故事，分析算法的优劣。他曾建议出版商将书名改为算法分析，出版商拒绝了，认为这会导致无人购买。
他说，TeX 最初是设计给他的秘书和他自己用的，他在 1978 年 4 月完成了 TeX 的测试版本，5 月他有了 10 名用户，6 月有 100 个用户，7 月有 1000 个用户。每一组新用户都会提出建议。5 年后他发布了至今基本没有变动的正式版本。他说诗人必须写诗，他的诗就是程序，他平均每周写 5 个新程序。他对完成《编程艺术》没有设定截止日期，除了这本书他已经完成了生活中的所有目标，他会继续讲述算法的故事。