找回密码
 立即注册

QQ登录

只需一步,快速开始

机器学习资料整理【内有福利】 加入本站QQ交流群 本站落实实名发帖政策的通知
OpenPose是一个实时多人关
【活动简介】人脸、虹膜、指纹等生物特征识别技术已经广泛应用于智能手机、金融支付、公安司法、边检
人类被指挥与控制来自描述及与这些描述相连接的行为能力,可以用一个字或者概
互联网时代的社会语言学:基于SNS的文本数据挖掘from:http://www.matrix67.com/blog/archives/50
TensorFlow官方文档—中文版 链接:https://pan.ba
该教程将通过知识点讲解+答疑指导相结合的方式,让大家循序渐进的了解深度学习模型并通过实操演示掌握相关框架及TensorFlow工
本帖最后由 周天 于 2018-1-2
最最经典的
什么是大数据随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一
机器学习算法需要作用于数据,而数据的本质则决定了应
大数据创业之路上的“九九八十一难”该如何迈过? 近年来,伴随着信息技术的飞速发展,大数据创业
本帖最后由 lqf921205 于 2018-4-14 22:32 编辑 原文链接:https://blog.csdn.net/lqf921205/article/details/798614941. CS224D2. NLP到W
本文转载自:创成汇-创新成果转化服务平台(http://www.chuangcheng.org.cn/16)大赛设置企业赛道和创客团队赛道
为深入贯彻落实党的十九大报告中提出的“加快建设创新型国家”国家战略,根据《中
“汇新杯”新兴科技互联网创新大赛之大数据产业创业大数据是信息化发展的新阶段,是继土地、劳动力、资
背景介绍 本项目主要解决 check 和 opinion2 张历史数据表(历史数据
优达学院面试技能三件套,包括找工作策略、模拟面试、拓展人脉三门课程
编者按:2017年是不平凡的一年(当然,事实上,每一年都是;P)
查看: 741|回复: 2

香农外传

[复制链接]

194

主题

349

帖子

2万

积分

管理员

积分
25847
发表于 2017-5-16 10:07:42 | 显示全部楼层 |阅读模式


sn.JPEG

香农不是人!

其实,他是神,至少是“神人”!

他老爸更神:生下儿子后,不取名,却直接将自己的名字与儿共享,都叫Claude Elwood Shannon。虽然,这个名字汉译后,听起来有点不爽,发音很像“咳痨的.哀儿勿得.现脓”,但是,他老爸也许已经预料到:这个名字,注定将永垂青史!当然,本文纪念的是儿子“香农”,而非老爸“香农”。

他的一个远房亲戚更是“神上加神”!谁呀?!说出来,吓你一跳:托马斯·阿尔瓦·爱迪生!对~,就是只用了“1%灵感”,却流了“99%汗水”,就发明了电灯的那位“发明大王”(此句儿童不宜,请直接跳过)。

唉,真是龙生龙,凤生凤,老鼠生来会打洞啊!

都说香农是数学家、密码学家、计算机专家、人工智能学家、信息科学家等等,反正“这家、那家”帽子一大堆。但是,老夫咋总觉得,他哪家也都不是呢!若非要说他是什么“家”的话,我宁愿选择他是“玩家”,或者尊称为“老人家”。其实,他是标准的“游击队长”,那种“打一枪换个地方”的游击队长。只不过,他“枪枪命中要害,处处开天辟地”!

先说数学吧。

俗话说“三岁看大,七岁看老”。香农同学早在童年时,就给姐姐凯瑟琳当“枪手”,帮她做数学作业。20岁就从密歇根大学数学系毕业,并任麻省理工学院(MIT)数学助教;24岁获MIT数学博士学位;25岁加入贝尔实验室数学部;40岁重返MIT,任数学(终生)教授和名誉教授,直至2001年2月26日,以84岁高龄仙逝。他的代表作《通信的数学理论》、《微分分析器的数学理论》、《继电器与开关电路的符号分析》、《理论遗传学的代数学》、《保密系统的通信理论》等等,除了数学,还是数学。因此,可以说香农一生“吃的都是数学饭”,当然可以算作数学家了。

既然是数学家,您就应该老老实实地、公平地研究0、1、2、…、9这十个阿拉伯数字呀!可是,他偏不!非要抛弃2、3、…、9这八个较大的数字不管,只醉心于01这两个最小的数,难道真是“皇帝爱长子,百姓爱么儿”?!更可气的是,他在22岁时,竟然只用0、1两个数,仅靠一篇硕士论文,就把近百年前(19世纪中叶)英国数学家乔治·布尔的布尔代数,完美地融入了电子电路的开关和继电器之中,使得过去需要“反复进行冗长实物线路检验和试错”的电路设计工作,简化成了直接的数学推理。于是,电子工程界的权威们,不得不将其硕士学位论文评为“可能是20世纪最重要、最著名的一篇硕士论文”,并轰轰烈烈地,给他颁发了业界人人仰慕的“美国电气工程师学会奖”。正当大家都以为“一个电子工程新星即将诞生”的时候,一转眼,他又不见了!

原来,他又玩进了“八杆子都打不着”的人类遗传学领域,并且,像变魔术样,两年后,完成了MIT博士论文:《理论遗传学的代数学》!然后,再次抛弃博士论文选题领域,摇身一变,玩成了早期的机械模拟计算机元老,并于1941年发表了重要论文:《微分分析器的数学理论》。

喂,香老汉儿,您消停点行不?!每个领域的“数学理论”都被你搞完了,我们屌丝咋办?总该给咱留条活路嘛!

各位看官,稍息,稍息!口都渴了,请容我喝口茶,接着再侃。…

好了,该说密码了。

小时候,香农就热衷于安装无线电收音机,痴迷于莫尔斯电报码,还担任过中学信使,冥冥之中,与保密通信早就结下了姻缘。特别是一本破译神秘地图的推理小说《金甲虫》,在他幼小的心灵中,播下了密码种子。终于,苍天开眼,二战期间,他碰巧作为小组成员之一,参与了研发“数字加密系统”的工作,并为丘吉尔和罗斯福的越洋电话会议,提供过密码保障。很快,他就脱颖而出,成了盟军的著名密码破译权威,并在“追踪和预警德国飞机、火箭对英国的闪电战”方面,立下了汗马功劳。据说,他把敌机和火箭追得满天飞(对了,这些玩艺儿本来就“满天飞”嘛。主编~,这句请掐了哈!)。

战争结束了,按理说,您“香将军”就该解甲归田,玩别的“家家”去了吧。可是,香农就是香农,一会儿动如脱兔,一会儿又静若处子。这次,他一反常态,非要“咬定青山不放松”,一鼓作气,把战争中的密码实践经验凝练、提高,于1949年完成了现代密码学的奠基性论著《保密系统的通信理论》,愣是活生生地将“保密通信”这门几千年来,一直就依赖“技术和工匠技巧”的东西,提升成了科学,而且,还是以数学为灵魂的科学;还严格证明了人类至今已知的、唯一的、牢不可破的密码:一次一密随机密码!

你说可气,不可气!您为啥“老走别人的路,让别人无路可走”呢?你这样,让凯撒大帝、拿破仑等历代军事密码家们,情何以堪?!

算了,闲话少扯,言归正传,该聊聊他神龛上的那个《信息论》了。

伙计,你若问我啥叫“信息”,如何度量信息,如何高效、可靠地传输信息,如何压缩信息?嘿嘿,小菜一碟,老夫一百度(唉,谷哥被墙了嘛),马上就可给出完整的答复。

可是,在1948年香农发表《通信的数学理论》之前,对这些问题,连上帝都不知道其答案哟,更甭说世间芸芸众生了。虽然,早在1837年,Morse就发明了有线电报来“传信息”;1875年,Emile Baudot发明了定长电报编码来规范化“信息的远程传输”;1924年,Nyquist给出了定带宽的电报信道上,无码间干扰的“最大可用信息传输速率”;1928年,Hartley在带限信道中,可靠通信的最大“数据信息传输率”;1939-1942年,Kolmogorov和Wiener发明了最佳线性滤波器,来“清洗信息”;1947年,Kotelnikov发明了相干解调,来从噪音中“提取信息”,但是,人们对“信息”的了解,却始终只是一头雾水

经过至少一百年的“盲人摸象”后,全世界科学家,面对“信息”这东西,仍然觉得“惚兮恍兮,其中有象;恍兮惚兮,其中有物”。

那么,“信息”到底是什么“物”呢?唉~,“其之为物,惟恍惟惚”!

就算使尽浑身解数,抓条“信息”来测测吧,结果却发现,它具有的只是“无状之状,无物之象,惚恍惚恍”。

“信息”呀,求求你,给个面子,让科学家们只看一眼尊容,总可以了吧!结果,“信息”还是再次“放了人类的鸽子”,只让大家“迎之不见其首,随之不见其尾”!

终于,科学家们准备投降了。

说是迟,那是快。就在这关键时刻,香农来了!

接下来,老夫真不知该咋写了。只好烧纸,从阴间请回“评书艺术大师”袁阔成老先生,求他演绎出如下“香农温酒斩信息”的故事来

只见香农,不慌不忙,温热三杯庆功酒,也不急饮,骑着杂耍独轮车,双手悬抛着四个保龄球,腾腾腾就出了“中军大帐”。他左手一挥,瞬间那保龄球就化作“数学青龙偃月刀”,只见一个大大的“熵”字,在刀锋旁闪闪发光。他右手紧了紧肚带腰梁,摸了摸本来就没有的胡子,嘿~,还挺光滑的,这才“嗡嘛呢呗咪吽”地念了个六字咒语,咔嚓一下,就把独轮车变成了高跷摩托!

来到两军阵前,香农对“信息”大吼一声:“鼠辈,休得张狂,少时我定斩你不饶!”

“信息”一瞧,心里纳闷儿:怎么突然冲出个杂耍小丑来?也没带多少兵卒呀?怎么回事?“来将通名!”

“贝尔实验室数学部香农是也!”

“信息”一听,“噗哧”笑了,心想:可见这人类真没招啦,干吗不叫个清华、北大、什么“985”的教授来呢!

“速速回营,某家刀下不死无名之鬼!”

“信息”这“鬼”字还没落地,香农举起“数学青龙偃月刀”,直奔“信息”而来,急似流星,快如闪电,刷~~的一下,斜肩带背杀向“信息”。好快呀,“信息”再躲,可就来不及啰!耳边就听得“扑哧”一声,脑袋就掉了。于是,“信息容量极限”等一大批核心定理,就被《通信中的数学理论》收入囊中。

就这么快,那个“熵”字都还没有认清楚,“信息”就成了刀下鬼。

香农得胜回营,再饮那三杯庆功酒,嗨,那酒还温着呢!

……

好了,谢谢袁阔成老先生,您也忒能侃啦,安息吧!

从此,信息变得可度量了;无差错传输信息的极限知道了;信源、信息、信息量、信道、编码、解码、传输、接收、滤波等一系列基本概念,都有了严格的数学描述和定量度量;信息研究总算从粗糙的定性分析阶段,进入到精密的定量阶段了;一门真正的通信学科,《信息论》,诞生了。

其实香农刚刚完成《信息论》时,并非只收获了“点赞”。由于过分超前,贝尔实验室很多实用派人物,都认为“香农的理论很有趣,但并不怎么能派用场”,因为,当时的真空管电路,显然不能胜任“处理接近香农极限”所需要的复杂编码。伊利诺伊大学著名数学家,J. L. Doob,甚至对香农的论文,作出了负面评价;历史学家 WilliamAspray 也指出,香农的概念架构体系“无论如何,还没有发展到可以实用的程度”。

事实用于雄辩!到了20世纪70年代初,随着大规模集成电路的出现,《信息论》得到了全面应用,并已深入到信息的存储、处理、传输等几乎所有领域,由此足显香农的远见卓识。

于是,才出现了如今耳熟能详的如潮好评:“香农的影响力无论怎样形容都不过分”、“香农对信息系统的贡献,就像字母的发明者对文学的贡献”、“它对数字通信的奠基作用,等同于《自由大宪章》对于世界宪政的深远意义”、“若干年后,当人们重新回顾时,有些科学发现似乎是那个时代必然会发生的事件,但香农的发现显然不属于此类”…。

当人们极力吹捧香农,甚至把他当作圈子中的“上帝”来敬仰时,他却再一次选择了激流勇退,甚至数年不参加该领域的学术会议。直到1985年,他突然出现在英格兰布莱顿举行的“国际信息理论研讨会”上,引起轩然大波,那情形简直就像是牛顿出现在物理学会议上。有些与会的年青学者,甚至都不敢相信自己的眼睛,因为他们真还不知道“传说中的香农仍然还活在世上”!

哥们儿,这就叫“虽然你已远离江湖多年,但你的神话却仍在江湖流传”!

老子写完《道德经》后,就骑青牛出函谷关,升天了。

可是,香农创立《信息论》后,又到哪儿去了呢?

经老夫考察,这次他去了幼儿园,到那里也成仙了。所以,他的名字,也被翻译成“仙农”。

他将自己的家,改装成了幼儿园。把其它科学家望尘莫及的什么佛兰克林奖章、美国工业电子工程协会凯莱奖、美国全国科学研究合作奖、莱伯曼纪念奖、美国电机和电子工程协会荣誉奖章、美国技术协会哈维奖、比利时皇家科学院和荷兰皇家艺术科学院的院士证书、牛津大学等许多高等学府的荣誉博士证书、美国科学院院士证书、美国工程院院士证书等等,统统扔进一个小房间,只把一张恶作剧似的“杂耍学博士”证书,洋洋得意地摆在显眼处

“幼儿园”的其它房间可就热闹了:光是钢琴,就多达5台;从短笛到各种铜管乐器30多种,应有尽有;由3个小丑同玩11个环的杂耍机器;钟表驱动的7个球和5个棍子;会说话的下棋机器;杂耍器械以及智力阅读机;用3个指头便能抓起棋子的手臂;蜂鸣器及记录仪;有一百个刀片的折叠刀;装了发动机的弹簧高跷杖;用火箭驱动的飞碟;能猜测你心思的读心机等等。这些玩具大部分都是他亲手制作的。甚至,他还建造了供孩子们到湖边玩耍的升降机,长约600英尺,还带多个座位。

怎么样,这位身高1.78米的香大爷,不愧为名符其实的老儿童吧。

要不是上帝急着请他去当助理,估计人类的下一个里程碑成果,就会出现在杂耍界了,因为,据说,在仙逝前,老儿童已经开始撰写《统一的杂耍场理论》了。甚至,他创作的诗歌代表作,也都名叫“魔方的礼仪”,其大意是:向20世纪70年代后期非常流行的“鲁比克魔方”致敬。

伙计,还记得大败棋圣李世石的阿尔法狗吧!其实,香爷爷早就开始研究“能下国际象棋的机器”了,他是世界上首批提出“计算机能够和人类进行国际象棋对弈”的科学家之一。1950年,他就为《科学美国人》撰写过一篇文章,阐述了“实现人机博弈的方法”;他设计的国际象棋程序,也发表在当年的论文“Programminga computer for playing chess”中。1956年,在洛斯阿拉莫斯的MANIAC计算机上,他又实现了国际象棋的下棋程序。为探求下棋机器的奥妙,他居然花费大量的工作时间,来玩国际象棋。这让上司“或多或少有点尴尬”,但又不好意思阻止他。对此,香大牛一点也不觉歉意,反倒有些兴高采烈:“我常常随着自己的兴趣做事,不太看重它们最后产生的价值,更不在乎这事儿对于世界的价值。我花了很多时间在纯粹没什么用的东西上”。

你看看,你看看,这叫啥话,上班纪律还要不要了!

香爷爷还制造了一台宣称“能在六角棋游戏中,打败任何人”的机器。该游戏是一种棋盘游戏,几十年前在数学爱好者中很流行。调皮爷爷事先悄悄改造了棋盘,使得人类棋手这一边比机器对手一边的六角形格子要多,人类如果要取胜,就必须在棋盘中间的六角形格子里落子,然后对应着对手的打法走下去。该机器本来可以马上落下棋子的,但是,为了假装表现出它“似乎是在思索该如何走下一步棋”,调皮爷爷在电路中加了个延时开关。一位绝顶聪明的哈佛大学数学家,AndrewGleason,信心满满地前来挑战,结果被机器打得落花流水。等到Gleason不服,次日再来叫阵时,香大爷才承认了隐藏在机器背后的“老千”,搞得哈佛教授哭笑不得。

除了玩棋,香儿童还制作了一台,用来玩赌币游戏的,“猜心机器”,它可猜出参加游戏的人将会选硬币的正面还是反面。其最初样机,本来是贝尔实验室的同事David W.Hagelbarger制作的,它通过分析记录对手过往的选择情况,从中寻找出规律用来预测“游戏者的下一次选择”,而且,准确率高达53%以上。后来,经过老儿童的改进,“香农猜心机”不但大败“Hagelbarger猜心机”,而且,还打遍贝尔实验室无敌手,茶余饭后,让这里的科学家们“无颜见江东父老”。当然,唯一的例外是老爷爷自己,因为,只有他才知道“香农猜心机”的死穴在哪里。(注:最近,老夫研究《安全通论》时,给出了更好的,能够打败“香农猜心机”的新方法,当然,其核心思想,仍然是香农的信道容量极限定理。详见后面的9篇参考文献[1]-[9],或见本人的实名(杨义先)科学网博客:“安全通论4:攻防篇非盲对抗之童趣游戏”。网址:http://blog.sciencenet.cn/blog-453322-949155.html

老儿童还发明了另一个趣玩艺儿,迷宫鼠,即,能“解决迷宫问题”的电子老鼠。可见,阿尔法狗的祖宗,其实是阿尔法鼠。香农管这只老鼠叫“忒休斯”,那个在古希腊神话中,杀死“人身牛头怪”后,从可怕的迷宫中走出来的英雄。老夫我却偏叫它“香农鼠”。该鼠可自动地在迷宫中找到出路,然后直奔一大块黄铜奶酪。“香农鼠”拥有独立的“大脑”,可以在不断尝试和失败中学习怎样走出迷宫,然后在下一次进入迷宫时,能避免错误顺利走出来。“香农鼠”的“大脑”,就是藏在迷宫地板下面的一大堆电子管电路,它们通过控制一个磁铁的运动来指挥老鼠。

好了,写累了。该对香爷爷做个小结了:

他虽然发现了“信息是用来减少随机不定性的东西”,可是,其游戏的一生,却明明白白地增加了“工作与娱乐、学科界限等之间的”随机不定性。可见,所谓的专业不对口,其实只是借口。牛人在哪里都发光,而屌丝干什么都一样

他的名言是“我感到奇妙的是:事物何以总是集成一体”。可是,我们更莫名其妙:他何以总能把那么多互不相关的奇妙事物,集成一体?

他预言“几十年后机器将超越人类…”。可是,像他那样的人类,哪有什么机器可以超越?!

他承认“好奇心比实用性对他的刺激更大”。可是,我等屌丝如果也这样去好奇,年终考核,怎么过关?!

在他众多的卓越发明中,他竟然最中意“W.C. Fields杂耍机器人”。唉,与他相比,我们连机器人都不如了!

总之,香农的故事告诉我们:不会玩杂耍的信息论专家,不是优秀的数学家

哈哈,谢天谢地,终于找到一样东西,我与香农等同啦!那就是,他与我一样,都崇拜爱迪生。可仔细一想,还是不平等。因为,他是他远亲,却只是我偶像。

唉,真是:人比人,比死人。

算了,算了,不说了,说多了满眼都是泪,做人最重要的是开心嘛!

肚子都饿了,翠花~,翠花~,上酸菜!

再见,我也该玩去啰,没准哪天玩出一只“阿尔法猫”来!


声明:本文是作者纪念克劳德·艾尔伍德·香农诞生一百周年所作,转载自作者博客


回复 论坛版权

使用道具 举报

39

主题

123

帖子

5677

积分

版主

积分
5677
发表于 2017-6-5 12:58:55 来自手机 | 显示全部楼层
童心老爷子
回复 支持 反对

使用道具 举报

 成长值: 2580

6

主题

42

帖子

4628

积分

版主

积分
4628

优秀版主

发表于 2017-8-12 14:35:11 | 显示全部楼层
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

宸ュ晢钀ヤ笟鎵х収鐢靛瓙璁稿彲璇 | QQ|申请友链|小黑屋|手机版|人工智能A7论坛(aqinet.cn) ( 沪ICP备15039134号-1 ) 人工智能A7论坛坛友会

GMT+8, 2018-4-27 14:37 , Processed in 0.066746 second(s), 51 queries .

Powered by Discuz! X3.4 Licensed

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表