件会改变所有事情的事物，但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么。
科学家danny Hillis把这个作“好像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”
Bostrom则担忧创造自身聪明的东西是个基础的达尔错误，好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鹰长大后会保护麻雀一家，但是其它麻雀却觉得这是个糟糕的主意。
当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时，你创造出了一个很恐怖的词——生存危机。
可以想见，生存危机是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难的情况，但是这基本和灭绝没差了。三类事情可能造成人类的生存危机：
自然——大型陨石冲撞，大气变化使得人类不能生活在空气，席卷全球的致命病毒等。
外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置。他们不想我们变成邀请别人来殖民的傻子。
人类——恐怖分子获得了可以造成灭绝的武器，全球的灾难性战争，还有不经思考造出个我们聪明很多的智能。
1和2在我们物种存在的前十万年还没有发生，所以在接下来一个世纪发生的可能性不大。
3则让我们很害怕，这些可以作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是红色的，只有几个是黑色的。
每次人类发明一些新东西，相当于从罐取出一个玻璃球。
大多数发明是有利或者立的——那些是白色玻璃球。有些发明对人类是有害的，如大规模杀伤性武器——这是那些红色玻璃球。
还有一些发明是可以让我们灭绝的，这是那些黑色玻璃球。很明显的，我们还没摸到黑色玻璃球，但是不久的未来摸到一个黑色玻璃球不是完全不可能的。
如核武器突然变得很容易制造了，那恐怖分子很快会把我们炸回石器时代。核武器还算不黑色玻璃球，但是差的不远了。而超人工智能是我们最可能摸到的黑色玻璃球。
一个15人的小创业公司，取名叫“隔壁老王机器人公司”，他们的目标是“发展创新人工智能工具使人类能够少干活多享受。”
他们已经有几款产品架，还有一些正在发展。他们对下一个叫作“隔壁老王”的项目最报希望。隔壁老王是一个简单的人工智能系统，它利用一个机器臂在小卡片写字。
“隔壁老王机器人公司”的员工认为隔壁老王会是他们最热卖的产品，他们的目标是完善隔壁老王的手写能力，而完善的方法是让他不停的写这句话——
等隔壁老王手写能力越来越强的时候，它能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开。
为了建立隔壁老王的手写能力，它被设定成把“我们爱我们的顾客”用正楷写，而“隔壁老王机器人公司”用斜体写，这样它能同时锻炼两种书写能力。
工程师们传了数千份手写样本，并且创造了一个自动回馈流程——每次隔壁老王写完，拍个照，然后和样本进行对，如果对结果超过一定标准，产生一个正面回馈，反之产生一个负面评价。
每个评价都会帮助提高隔壁老王的能力。为了能够尽快达成这个目标，隔壁老王最初被设定的一个目标是“尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性。”
让隔壁老王机器人公司兴奋的是，隔壁老王的书写越来越好了。它最开始的笔迹很糟糕，但是经过几个星期后，看起来像人写的了。
它不断改进自己，使自己变得更加创新和聪明，它甚至产生了一个新的算法，能让它以三倍的速度扫描传的照片。
随着时间的推移，隔壁老王的快速进展持续让工程师们感到欣喜。工程师们对自我改进模块进行了一些创新，使得自我改进变得更好了。
隔壁老王原本能进行语音识别和简单的语音回放，这样用户能直接把想写的内容口述给隔壁老王了。随着隔壁老王变得越来越聪明，它的语言能力也提高了，工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应。
有一天，工程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西，能帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间，但是这一次，隔壁老王要求访问人类日常交流的语言库，这样它能更好的了解人类的口述。
工程师们沉默了。最简单的帮助隔壁老王的方法当然是直接把它接入互联，这样它能扫描
本章未完，请点击下一页继续阅读》》
科学家danny Hillis把这个作“好像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”
Bostrom则担忧创造自身聪明的东西是个基础的达尔错误，好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鹰长大后会保护麻雀一家，但是其它麻雀却觉得这是个糟糕的主意。
当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时，你创造出了一个很恐怖的词——生存危机。
可以想见，生存危机是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难的情况，但是这基本和灭绝没差了。三类事情可能造成人类的生存危机：
自然——大型陨石冲撞，大气变化使得人类不能生活在空气，席卷全球的致命病毒等。
外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置。他们不想我们变成邀请别人来殖民的傻子。
人类——恐怖分子获得了可以造成灭绝的武器，全球的灾难性战争，还有不经思考造出个我们聪明很多的智能。
1和2在我们物种存在的前十万年还没有发生，所以在接下来一个世纪发生的可能性不大。
3则让我们很害怕，这些可以作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是红色的，只有几个是黑色的。
每次人类发明一些新东西，相当于从罐取出一个玻璃球。
大多数发明是有利或者立的——那些是白色玻璃球。有些发明对人类是有害的，如大规模杀伤性武器——这是那些红色玻璃球。
还有一些发明是可以让我们灭绝的，这是那些黑色玻璃球。很明显的，我们还没摸到黑色玻璃球，但是不久的未来摸到一个黑色玻璃球不是完全不可能的。
如核武器突然变得很容易制造了，那恐怖分子很快会把我们炸回石器时代。核武器还算不黑色玻璃球，但是差的不远了。而超人工智能是我们最可能摸到的黑色玻璃球。
一个15人的小创业公司，取名叫“隔壁老王机器人公司”，他们的目标是“发展创新人工智能工具使人类能够少干活多享受。”
他们已经有几款产品架，还有一些正在发展。他们对下一个叫作“隔壁老王”的项目最报希望。隔壁老王是一个简单的人工智能系统，它利用一个机器臂在小卡片写字。
“隔壁老王机器人公司”的员工认为隔壁老王会是他们最热卖的产品，他们的目标是完善隔壁老王的手写能力，而完善的方法是让他不停的写这句话——
等隔壁老王手写能力越来越强的时候，它能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开。
为了建立隔壁老王的手写能力，它被设定成把“我们爱我们的顾客”用正楷写，而“隔壁老王机器人公司”用斜体写，这样它能同时锻炼两种书写能力。
工程师们传了数千份手写样本，并且创造了一个自动回馈流程——每次隔壁老王写完，拍个照，然后和样本进行对，如果对结果超过一定标准，产生一个正面回馈，反之产生一个负面评价。
每个评价都会帮助提高隔壁老王的能力。为了能够尽快达成这个目标，隔壁老王最初被设定的一个目标是“尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性。”
让隔壁老王机器人公司兴奋的是，隔壁老王的书写越来越好了。它最开始的笔迹很糟糕，但是经过几个星期后，看起来像人写的了。
它不断改进自己，使自己变得更加创新和聪明，它甚至产生了一个新的算法，能让它以三倍的速度扫描传的照片。
随着时间的推移，隔壁老王的快速进展持续让工程师们感到欣喜。工程师们对自我改进模块进行了一些创新，使得自我改进变得更好了。
隔壁老王原本能进行语音识别和简单的语音回放，这样用户能直接把想写的内容口述给隔壁老王了。随着隔壁老王变得越来越聪明，它的语言能力也提高了，工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应。
有一天，工程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西，能帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间，但是这一次，隔壁老王要求访问人类日常交流的语言库，这样它能更好的了解人类的口述。
工程师们沉默了。最简单的帮助隔壁老王的方法当然是直接把它接入互联，这样它能扫描