一个世界性的科技伦理问题——
人工智能最终可能控制人类吗
一种观点认为，人工智能是人类设计出来的，因此不可能超过人类。但实际上，人工智能是人类智慧与机器进化的结合，具有超过人类智慧的能力与趋势。因此，人工智能对未来人类形成“控制”这种可能是存在的。
人类过度依赖人工智能可能会导致物种退化
随着人工智能在社会中的广泛应用，会形成一种类似于资本控制的控制形态，即人类由于高度依赖人工智能形成整体上的物种退化。
例如，在一个高度智慧化的时代，出行有自动驾驶，饮食有自动做菜的炊具，社交有人工智能的安排或者有机器拟人化的伴侣，生育孩子则有智能化的抚育器，社会治理和决策则由中央巨型智慧体进行判断。那么，人类整体上，就逐渐演变成一种高度依赖人工智能存在的物种，虽然人类在人工智能的帮助下整体上的能力会增强，但人类作为独立的个体则会相应地退化。这就存在一种总有一天人类无法理解人工智能，从而在这一互生的体系中失去相应的位置和必要性的可能。
人工智能自身对人类的控制
人工智能的进一步演化，则会形成其发展历史上的第二次跃迁，即人工智能压倒性地超过人类智慧，并具备了自身的主体意识，从而开始摆脱客体的属性，反过来控制人类。这就形成了人工智能自身对人类的控制这一形态。对于这种形态的存在，则要满足以下条件。
第一，是人工智能要具有自我意识。这并不是指人工智能在处理外界输入时的判断和反应超过了人类，而是人工智能要具有清晰的自我意识，从而将自己与人类主体区分开来。这一点在当前的人工智能界依然存疑，但具有其实现的可能性。
第二，人工智能能够从控制人类身上得到基本的经济利益。这就要求人类本身能够完成人工智能所不能完成的必要工作。对人工智能系统本身来说，高度依赖人类的工作是对人工智能本身的维护和更新，这也包括不断用人类智慧去完善人工智能。
第三，人工智能具有控制人类的手段。未来的人工智能显然具有控制人类的手段，伴随着整个经济体系的智能化，大部分的物质生产过程由人工智能体系所控制，公共管理领域引入人工智能与暴力体系引入人工智能，会使人类在经济、管理和暴力领域都置于人工智能的控制之下。更重要的是，相当一部分人类认为人工智能可能会更好地增进人类的公平，提供更好的治理。这就使得在思想上具有了人工智能可能控制人类的正当性观念。
第四，人工智能具有控制人类的必要。这里的必要主要是指如果不控制人类，人类可能具有随时关闭乃至消除人工智能自我存在的可能。如果假设宇宙中任何个体形成的自我意识都具有保护自我存在和延续的目的和行为，那么，人工智能可能会主动控制人类，以防止人类关闭它们。
人类的选择与对策
对于第一种情形，确保人类的自我延续和独立，从而避免人类的退化，将是从现在开始的一个命题，但人类依然具有较为从容的时间和主动权。对于第二种情形，则是当前就要开始着手避免的。一个有效防范人工智能自身控制形成的机制则包括四个层面：第一，从动机和利益出发，让人工智能不想控制人类。第二，从伦理、逻辑与规则出发，让人工智能不愿控制人类。第三，承认人工智能的权利和相互摆脱恐惧，让人工智能不必控制人类。第四，建立最后安全机制，让人工智能不能控制人类。(何哲 中央党校（国家行政学院）公共管理教研部教授，国家战略研究中心秘书长)
