本节核心论点：有的时候我们得服从动物或者机器，有的时候它们得服从我们。
苏格拉底：是啊，斐多（Phaedrus），你知道吗，关于文章最奇怪的地方是……它们似乎在和你交谈，好像它们是有智慧的，但是一旦你问它们任何它们并不想知道的事，它们每次都会指同一个意思，它们始终都还是继续重复着同一件事情。
——柏拉图：对话集锦，1961
两千年前，苏格拉底指出书将毁掉人们思考的能力。他认为在对话、交谈或者辩论中，是有思考的过程的。可是，书不会产生辩论：写在书上的文字不可能会回答你。可是，在今天，书如此广泛，是我们学习和知识传播的主要工具，我们嘲笑苏格拉底的论断。但我们稍微停下来，严肃地考虑一下这个问题。先不管苏格拉底的论断，因为我们不需要和作者讨论文章的内容，所以文章还是可以具有教育作用的。此外，我们还可以与其他的读者讨论其中的问题，比如在教室里、在讨论组中，如果这是篇很重要的文章，我们会通过各种媒体来讨论它。但无论如何，苏格拉底的论断在以下条件下是成立的：如果某项科学技术完全不允许被讨论、解释或者辩论，那么这种技术就是一种很拙劣的技术。
作为企业的总裁以及大学中院系的主席，我知道做出决定的过程通常比决定本身更重要。如果某人在没有征求他人的意见或者也没有任何解释的情况下做出了决定，则其他人可能会不信任他，或者会不喜欢这个决定，即使和大家探讨或争辩后做出的决定是一模一样的。很多企业管理者会问：“既然产生的决定是一样的，为什么还要浪费时间开会讨论？”因为即使决定本身是一样的，最终的结果却可能不一样，决定的执行和实施也可能是不一样的。此外，最重要的一点，如果事情的发展不是像先前预期的那样，先前的讨论会将可能对团队的协作和理解产生出非常不同的效果（译者注：也就是积极的效果），这和没有讨论而直接遵从命令有着很大的不同。
Tom不喜欢他的导航系统，不过他也承认有些时候该导航系统还是有用的。但他没有办法告诉这个系统来适应他的需要。尽管他可以进行一些高级选择，比如“最快路线”、“最短路线”、“风景路线”或者“避开收费站”，他还是无法和系统讨论为什么选择了某条特定的路线。他不清楚为什么系统会认为路线甲优于路线乙。它有没有考虑路线上红灯的时间长短？有没有考虑有多少个“停”标志？会不会出现两条路线都是一个小时左右的路程，只不过相差一分钟而已？Tom可能不在乎多花费这一分钟时间，但系统没有给他其他更好的替代方案。就算Tom愿意信任该系统，但系统不让人知道它所用的方法，这种缄默和保密的状态也会引起人们的不信任，这和企业中自上而下的未经讨论的决定一样，是不被人信任的。
如果导航系统可以和驾驶员讨论路线，这将会怎样？如果系统可以给出多种选择的路线，把它们显示在地图上，并且列出表格，告诉我们距离、预计的驾驶时间、花费等，让驾驶员去选择，这又将会怎样？有些导航系统可以做到这些，如果某人想从加州纳帕谷的某个城市（比如Helena）去Palo Alto。
这是明显的进步，但仍然不是对话。系统说道：“这里有3个选择：请选择。”我依然无法询问细节或者要求更改。我非常熟悉这些路线，而且我还知道最快、最短、最便宜的路线上沿途的风景最差，而风景最好的路线系统根本没有给出来。但如果驾驶者不知道这些会怎么样呢？或者说，如果是别的驾驶员给了你这样粗糙有限的建议，你是不会满意的。这个导航系统给出了很有限的几个选择，但比起现在的其他系统仍然是个巨大的进步，这说明了其他系统是多么的差劲，这也让我们意识到我们仍然有很长的路要走。
如果我驾驶的汽车判断出来即将有危险发生，它便会自动调直座椅并启动刹车，它不问我也不咨询我，它也不告诉我为什么。汽车是一种机械电子产品，其算法精确无误，这是否意味着它一定更加准确呢？不，实际上不是这样的。算法可能是正确的，但计算之前，汽车必须对路况、其他车辆，以及驾驶者的能力做出假设。职业驾驶员有时候会关掉一些自动系统，因为他们知道这些系统可能不会允许他们做某些事情，或者不允许他们施展他们某些技能。因此，他们可能会尽可能把可以关闭掉的自动系统都关闭掉：不过，很多新型汽车太过于“独裁”，它们根本不会允许你关掉它们的任何一个自动系统。
不要认为只有汽车才会有这样的行为。未来的设备在很多不同的方面都将会有同样的问题。现在已经有了可以自动判定顾客是否符合贷款条件的自动银行系统。而自动的医疗系统则可以判断患者是否应该接受某项特别治疗或者采用某种药物。未来的各种系统将会跟踪并监控你的食物喜好、阅读喜好、音乐和电视喜好等。
有些系统还将监视你驾车的去向，以便可以通知保险公司、汽车租赁行、甚至是警察，这样他们便可以了解你是否违反了其相关的规定。还有一些系统可以监视是否有侵犯版权的情况，判断哪些合法、哪些非法。在上述全部情况中，系统通常按照你先前的有限行为样本做出粗略的假设，因此很容易会武断地采取行动。
这些所谓的智能系统太过于自鸣得意了。它们以为它们知道对于我们人类什么是最好的。然而，它们的智能是有限的。这种有限是必然的：任何一台机器都不可能了解人类做决定所涉及的所有因素。但这并不意味着我们因此就拒绝智能机器的帮助。不过，当机器所做的工作越来越多时，它们必须要加以社会化，它们必须提高自身的交流和交互的能力，并且认识到它们的不足和局限。只有如此，它们才是真正有用的。这正是本书要讨论的主要话题。
当我最初开始写这本书的时候，我认为将机器社会化的关键在于开发出更好的对话系统。但我错了。一个成功的对话需要双方有共同的知识和经验，还需要正确评价当时的环境和情景、促成当前时刻的历史，以及相关人物的诸多不同的目标和动机。现在，我相信这是当今科技发展过程所面临的一个根本问题，这使得机器无法进行全面的、如同人和人一样的交互。其实，人与人之间要建立这样的相互理解都十分困难，更何况是机器呢？
为了能够有效地和机器合作，我们可能需要像对待人与动物之间的交互一样来对待人与机器的交互。尽管人类和动物都是有智能的，但人和动物是不同的物种，有着不同的知识和不同的能力。同样，即使是最智能的机器也是一个不同的物种，它有着其自身的长处和短处，有着其自身的理解力和能力。有的时候我们得服从动物或者机器，有的时候它们得服从我们。
