| 主页 | 频道首页 | 本站地图 | 论坛留言 | 合作联系 | 本站消息 | |
科技动态 技术发展 文化研究 生物生态 人的研究 生命起源 基因工程 科学普及 科学探索 专题其他

大脑中的支持向量机

2016-09-26
向量机,神经编码,机器学习
大脑中的支持向量机
原创 2016-09-26 许铁 混沌巡洋舰

支持向量机(SVM)是一种重要的机器学习分类器, 它巧妙的运用非线性变换把低维的特征投影到高维,可以执行比较复杂的分类任务(升维打击)。 SWM看似使用了一个数学上的玄技,实则是恰巧符合了大脑编码的机理, 我们可以从我导师2013年的一篇nature论文读起,理解机器学习和大脑工作原理的深层联系(表面的联系是运用机器学习研究大脑)。

论文名称: The importance of mixed selectivity in complex cognitive tasks (Nature 2013 by Omri Barak al. )

这种惊人的联系可以从哪里看出来呢?首先我们来谈谈神经编码的本质: 动物接受到一定信号并根据它做出一定的行为,一个是把外界信号转化为神经电信号,另一个是把神经电信号转化为决策信号,前一个过程叫做编码(encoding),后一个过程叫做解码(decoding)。 而神经编码的真实目的正是之后解码来做决策。因此, 用机器学习的眼光看解码, 最简单的方法就是看做一个分类器, 甚至是一个logistic model这样的线性分类器 , 把输入信号根据一定特征分类分别对待。比如看到老虎逃跑,看到兔子吃掉。当然, 有时候解码也在做回归, 比如当神经信号最后转化为运动, 你需要把神经信号转化为动作幅度的连续变量。 那么好了, 这里已经明显看到了神经编码和机器学习的联系, 神经编码的本质是重新表征信号,从而使得分类或回归容易进行。 机器学习的一大类问题本质其实是模仿了自然, 正如同大多数时候人类如果一件事情做得很好,那往往是仿效了大自然的机制。


那么我们就来看看神经编码是怎样进行的, 首先神经元基本可以看做一个根据外电压调整电阻和电容的RC电路, 当外信号足够大, 就会导通, 否则闭合,通过在一定时间里放电的频率来表征一个信号。而我们谈编码,往往是对时间做一个离散化处理, 认为在一个小的时间窗口里, 这个放电率是不变的,这样一个神经网络在这个时间窗口里的细胞放电率排在一起就可以看做一个N维的向量, N是神经元的个数, 这个N维向量,我们姑且叫它编码向量 , 它可以表达动物看到的图像,或听到的声音, 会引起相应的皮层神经网络的相应- 即外界信号的表征。 注意此处我们先不研究深度网络。

图: 纵轴是细胞 , 横轴是时间, 图中表现了我们是如何提取神经编码的

当然N维向量和神经编码的真实维度是有区别的, 如何定义神经编码的真实维度?

首先,我们进入这个N维向量所标记的N维空间,然后我们给出所有可能的任务组合, 比如给你看一千张图片假设这些图片代表了整个世界, 把每一次我们得到的神经编码标记为这个空间的一个点, 最后我们利用向量代数的思维看这一千个点构成的子空间的维度, 即认定为神经表征的真实维度。 我假设所有的点都其实在这个N维空间的一条线上, 那么这个表征是一维的,相应的如果所有的点都在高维空间的一个二维平面上, 则它就是二维的。 科学家的发现是, 神经编码的维度通常非常高, 当然它不能高于N,如果神经编码的维度很低, 就没有必要用那么多神经元了。


除了编码的真实维度外,我们还有一个概念就是外信号的真实维度,这里的信号是指神经网络所表达的外部信号,当然你要重述外界信号的所有细节那是一个无限的问题,然而我们分类和决策的根据从来都是关键特征,是一个降维的过程, 这也是PCA的思想。这里我们可以把真实任务里的关键变量看做任务的真实维度, 比如说你要控制一个手臂的运动, 你通常只需要控制关节的旋转角度,如果把它看做一个刚体力学问题, 维度大概不会高于10个,我们叫它K。 即使是你要分辨人脸这样的问题, 问题的维度依然远低于神经元的个数。


那么科学家就面临一个核心问题, 为什么要用比真实问题维度高很多的编码维度和神经元个数来解决这个问题? 这不是一种浪费吗?


而计算神经科学和机器学习一起告诉我们, 神经表征的高维特性正是其所具备的强大学习能力的基础。编码维度越高, 学习能力越强。 注意此处我们甚至没有开始涉及深度网络。

为什么这么说呢?这里我们说神经编码的机制用到了类似SVM的原理, 当我们把一个低维度的信号投射到高维, 我们就可以做越多的classification,即使是一个线性的分类器,你也可以解决无数问题,到底如何做到的? 它又如何和SVM支持向量机原理相通?


注意此处讨论的神经编码主要指高级神经中枢的神经编码,比如文中讨论的前额叶Prefrontal Cortex(PFC),因为低级神经中枢的编码规律并不太涉及分类和决策。

PFC代表的高级脑区


神经编码的奥秘也正是从神经元个数N, 和真实问题维度K的关系(这种差距足可以达到200倍)揭示的。为什么看似冗余的神经元个数可以带来质的飞跃?

首先,我们假设当我们的编码维度等于真实任务中关键变量的维度的时候,我们使用一个线性分类器将不能处理非线性的分类问题 (假设你要从西瓜中分离出西瓜子,你不能用一个线性边界把西瓜籽从西瓜中剔除出去),这也是在深度学习和SVM没有进入机器学习的时候我们难以解决的典型问题。 用SVM对这类问题的核心解法被称作重新表征, 即把我们的向量从原有坐标系变换到一套新的更高维度的坐标系来表示 , 这时候我们就可以用分割超平面的方法(依然是线性分类器)来进行模式识别和分类,这样即使西瓜子镶嵌在瓜瓤里, 我也可以给它炒出去。如果你没明白,请看下图:

SVM(支持向量机):

SVM可以进行非线性的分类,例如把图中的红色点和蓝色点隔开,用线性边界我们是无法把红点和蓝点分开的(左图), 因此SVM用的方法正是升高维度。而单纯增加变量的个数是不行的,比如把(x1,x2)映射到(x1,x2, x1+x2)系统其实还是二维的线性空间(画个图的话就是红色的点和蓝色的点还是在一个平面上), 只有使用了非线性函数(x1^2, x1*x2, x2^2)我们才有了实质性的低维度到高维度的跨越, 这时候你就把蓝色的点抛到了空中, 然后你在空中画出一个平面, 就把蓝色的点和红色的点分开啦,如右图。

事实上, 真实神经网络所做的事情正是类似的。 如此一个线性的分类器(解码器)所能进行的分类种类大大增加, 也就是说我们得到了比先前强很多的模式识别能力。此处, 高维即高能, 高维打击是真理啊。


那么,神经编码的高维度是如何得到的呢? 光神经元的个数多是没有用的。 因为学过线性代数的我们知道, 如果我们有数量庞大的N个神经元, 而每个神经元的放电率只与K个关键特征线性相关,那么我们最后表征的维度只会等于问题本身的维度, 你的N个神经元毫无作用(多出的神经元都是前K个神经元的线性组合)。如果要突破这点, 你就必须有与K个特征非线性相关的神经元, 这里我们叫做非线性混合型神经元, 这类的神经元的表征十分复杂, 而其原理正类似于SVM中包含非线性项的核函数。有了这些非线性的神经元, 神经编码的维度才可以突破任务特征的维度,

图: 神经元1和2分别只对特征a和b敏感, 3对特征a和b的线性混合敏感, 而4对特征的非线性混合敏感。 最终只有神经元1,2,4的组合使得神经编码维度升高(下图)。

这种编码的官方叫法是混合编码(mixed selectivity),在人们没有发现这种编码的原理的时候我们觉得这是不可理解的, 因为它是神经网络对某种信号的响应显得乱糟糟的。在周边神经系统里,神经元的作用如同传感器,对信号的不同特征进行提取和模式识别。每个神经细胞的功能都是相当特定的,比如视网膜的rods和cones就负责接收光子,而之后由Gangelion cell继续进行编码,每个神经元就好像是一个个被专业训练的哨兵。 而在高级脑区, 这种清晰的分工难以见到,我们发现同一个神经元可能对各种特征敏感,而且这种敏感还不是线性的。 它们更像是对各种任务都想掺和一下的万金油,这种很难找到线性可分的专业分工的现象, 在我们对机器学习中的SVM方法做了对比后才清晰起来。 原来, 这正是对原有的信号做了非线性变换(如果x1是一个特征, x2是一个特征,这种神经元可能就是x1^2+x2^2),而使得神经编码的维度得以高于信号特征空间维度的办法。

大自然的每个细节都内藏玄机,大量冗余和混合编码这看似不专业的做法,看似混乱的信号,最终得到了更好的计算能力。有了这个原理之后, 我们可以轻易的处理一些这样的task:

在这个任务中, 猴子首先被训练分辨一个图像是否和之前的相同(recognition),之后被训练判断两个不同图像出现的顺序(recall)。猴子要完成这样的任务要能够对任务的不同侧面进行编码, 比如任务类型(recall or recognition), 图片种类等, 而这正是绝佳的测试是否有混合非线性编码机制存在的实验。实验中证实了大量神经元确实对混合特征敏感,而且存在非线性(比如说同样是对花朵进行编码, 神经元放电强度会取决于任务是recall还是recognition,特征之间不独立) 。 混合编码使得神经编码具有高维表征的特性,从而让这些包含多个侧面的任务的解码和处理得心应手。

看过这篇文章, 我们懂得了设计神经网络如果引入一些非线性的单元会大大提高模式识别能力, 以及SVM恰好是应用了这点,处理掉非线性的分类问题。 而计算神经科学与机器学习, 犹如一枚硬币的两面。

我们研究脑区的功能, 先要用机器学习的方法处理数据, 比如用PCA找到问题的关键维度, 之后又要用机器学习模式识别的思维理解神经编码和解码, 最终我们如果得到了一些新的灵感, 我们又可以改进机器学习的方法。 对于大脑还是机器学习算法, 最终最重要的都是得到信息最恰当的表征方法, 而有了好的表征,做什么都容易了。 这正是机器学习从线性逻辑回归到支持向量机到深度学习的一步步进化过程, 或许这也是大脑得以进化, 我们得以对世界具有越来越高的把控能力的过程。 抑或许进化的本来目的是更清楚的分清谁是老虎谁是羊,谁可以吃谁可以睡, 而在此过程中, 却发展出对世界本身步步深入的理解,以及对理解本身的热爱。
<大脑中的支持向量机">






前世回溯的实际案例: 穿越时空及遥远次元之旅
韦钰:IQ没有关键期,关键的是人的性格
进化心理学家再解释“轴心时代”的起源
美国科学院院士谈研究生培养
天才辈出的数学江湖:恽之玮大神及神上之神
等待卡诺《复杂》书评
爱因斯坦与弗洛伊德轰动世界的实验
徐荣祥,一个草根天才辉煌华丽的悲剧人生
松果体的钙化排除与解毒
表观遗传学-施扬(3)人生选择无参照
普林斯顿大学数学系的崛起
赵鼎新:自然科学与社会科学的区别
表观遗传学及其相关研究进展
神祕莫测的灵感现象
曾星智:奥地利学派与复杂理论
为什么你需要计算神经科学
松果体确实是第三只眼的证明
世界五大测试灵魂实验
科学家40年研究成果:8个梦境证实你有前世
如何从梦境获取科学灵感
智能手机无需密码可读取银行卡信息
Hosts for Google快速稳定访问
照镜子为什么是左右颠倒,而不是上下颠倒?
如何挑导师
想象:创造的原理
甘阳:一流大学还是三流大学
拥有高级文明的外星人可能是智能机器人
为什么你需要计算神经科学
潮汕家族企业的地域特征―人类学视野下的家族企业研究
Lisp语言发明者“人工智能之父”John McCarthy
为何斯坦福大学能两年四获诺贝尔奖
回忆过去便能预知未来
失落的念力秘密
word打开时总出现发送错误报告问题解决汇总
科学与民粹:经济学两种势力的较量
生猛的进化心理学
从投毒案谈脑科学的价值
贾登·史密斯:奥巴马承认确实有外星人存在
事业选择:学术界与企业界科学家的区别
神秘的混沌理论视频和中文解说词
BBC《神秘的混沌理论》的解说词
分子生物学的建立和发展
动物行为学的三个段子
认知行为理论
任正非:中国没有创新土壤 不开放就是死亡
姜奇平:大数据与信息社会的意义结构
华尔街日报:世界新秩序将会怎样
美国末日计划
弦理论家
弱混沌 著名数学家弗里曼·戴森的演讲:鸟和青蛙
图灵-数学家
个性化推荐猜你心
走近量子纠缠
真实的投资银行世界
《心智、大脑与计算机——认知科学创立史导论》
脑瘫患者成为博士 已发表20余篇论文
“再牛逼的伟人,也有苦逼的青春”物理版
物理学步入禅境:缘起性空
世界著名咨询公司在华情况
马云在斯坦福大学的演讲
智猪博弈与激励机制设计与企业战略
饶毅的科学成就
屠呦呦和青蒿素
何祚庥:隻怨“谁叫你不幸生在了中国”
Nature上给做科研的四条黄金忠告
北京生命科学研究所所长王晓东谈饶毅落选院士
Foxit十年暗战反胜Adobe的故事
融合东西方智慧破解人类困境
为什么硅谷最牛的人在创业公司?
开曼谎言:中国企业的离岸秘史
Google早期的十个疯狂故事
罗斯柴尔德的中国生意
科学家与他们的上帝
被文明改变的人体
从社会网络角度看农民的生产协作,产品交换,社会资源配置
VIE会导致中国海外上市公司一文不值吗
谁对谁说了什么-Twitter研究进展
三大证据相继破灭:进化论,一个错误的信仰
霍金:天堂和来世只是害怕死亡者的童话故事
我们最该知道的10大科学定律及理论
给笔记本外接一个显示器的方法
世界著名实验室简介
伦理与政治考量过滤科学之真
人大讲座的开场白-大学生社会责任
浅析北美中国老板中的变态者 霍金和霍金辐射
李醒民专访:遨游在科学的三维世界里
人类学家提出可能引发地球崩溃的12个因素
无线WEP和WPA密码及破解原理
丘成桐:感情的培养是做大学问最重要的一部分
没有秘密——阿桑奇的理想
论抽象社会
科学与竞争:以日本物理学为例
《科学》主编:中国论文拒稿率高因投稿最多
“科学家一定需要博士帽吗”
如何培养自然科学领域的巨匠
爱因斯坦是如何获得诺贝尔奖的
美国多名退役军官曝UFO曾多次光顾该国核基地
哲学笔记I--被操纵的人性
PRL:物理定律可能并非全宇宙通用
李晓宁:形式逻辑为何产生于西方
《逻辑起源》连载
自然逻辑的产生、发展及意义
论现代逻辑
评论:被人为割裂的中国互联网
互联网大帝孙正义
城市交通网络拓扑结构复杂性研究
无线上网卡老掉线问题掉线的方法
科学家揭秘章鱼保罗预测的秘密
科学家和《阿凡达》里的科学
许成钢:经济学、经济学家与经济学教育
谢宇:漫谈定量与定性研究方法
如何在顶级科学杂志上发表论文
中国如何招聘教授:十年的变化和今后的趋势
学术资料账号密码全集汇总
混沌中的数学
幂律分布、幂律涌现与幂律谱
数学的若干发展和中国的数学
嘉路兰的螺旋历法理论
基金项目《动态评价网络的统计分析与信息挖掘》
人类文明的斐波那契演进
数学的常数美
科学创新犹如渔夫打鱼
超难的75道逻辑思维题
被禁70年的创富秘诀《硅谷禁书》
RSS文件形式
怀念路遥-贾平凹的BLOG
跨学科交流+开辟自己的领域=创新的境界
大师似苗如何栽
五大疯狂天才剖析
Windows 7下载及使用Windows 7升级
艺术与科学的“姻缘”——谈文艺复兴时期艺术与近代科学兴起的关系
Google TrustRank and Hilltop
实证研究方法
一位北大CCER研究生的经济学、金融学学习感悟
潘晓《人生的路啊怎么越走越窄》
Windows XP系统端口关闭方法
世界上最牛的论文
TXP1atform.exe中毒归来
google使用技巧
Widget发展和Widget的各种应用
身体语言密码29
现代科学研究专题其他1 现代科学研究专题其他2

本栏目主要介绍科学技术方面,包括现代科学研究成果、现代科技、现代科学技术、大脑中的支持向量机等。特别关注有关人与文化的价值方面的研究。

『科学频道首页』 『本栏页首』 『关闭窗口』