(资料图片)
你有没有想过,用光来训练人工智能,让它能够像人一样说话、写作、创作?听起来很酷吧?其实,这不是科幻小说里的情节,而是美国麻省理工学院(MIT)的研究人员正在做的事情。他们发明了一种新的技术,可以利用光来实现大型语言模型。什么是语言模型呢?简单来说,就是一种可以根据上下文生成自然语言文本的人工智能技术。比如,你可以用语言模型来和它聊天、写文章、做作业、唱歌等等。语言模型越大,就越聪明,越能理解和表达人类的语言。
但是,要训练一个大型的语言模型,可不是一件容易的事情。你需要用很多很多的数据来喂它,让它学习和记忆。这些数据都要存储在电子芯片上,然后用电流来传输和处理。这样做有两个问题:第一,电子芯片的空间有限,不能存储太多的数据;第二,电流的速度有限,不能传输和处理太快的数据。所以,要训练一个大型的语言模型,你需要用很多很多的电子芯片,然后把它们连接起来,形成一个超级计算机。这样做不仅很贵,而且很慢,还很费电。
那么,有没有更好的办法呢?MIT的研究人员说:有!他们提出了一种新的方法,利用光来实现大型语言模型。他们设计了一种基于光的神经网络,可以在光纤中存储和处理数据,而不是在电子芯片上。这种方法有很多优点:第一,光纤的空间很大,可以存储很多很多的数据;第二,光的速度很快,可以传输和处理很快很快的数据。所以,用光纤来训练一个大型的语言模型,你只需要用很少很少的光纤,然后把它们连接起来,形成一个光子计算机。这样做不仅很便宜,而且很快,还很省电。
那么,他们是怎么做到的呢?他们用了一种叫做“可变光学延迟线”的设备,它可以在光纤中暂时存储光信号。你可以把光信号想象成一种特殊的数据,它可以携带信息,并且可以被改变和操作。他们通过调节光纤中的一些小东西,比如反射镜、透镜、分束器等等,他们可以对光信号进行各种各样的操作,比如编码、解码、加权、激活等等。这些操作就相当于神经网络中的功能。
他们还用了一种叫做“相干性”的物理特性,它可以使不同波长的光信号之间产生干涉效应。你可以把干涉效应想象成一种特殊的运算,它可以把两个或多个光信号合并成一个,或者把一个光信号复制成多个。这样,他们就可以在不增加硬件复杂度的情况下,扩展系统的规模和并行度。
他们用自己的系统构建了一个简单的语言模型,并在一些基准任务上进行了测试。他们发现,他们的系统可以达到与电子芯片相当甚至更好的性能,同时速度更快、功耗更低。他们估计,如果将他们的系统扩展到数百亿个参数的规模,它可以比目前最先进的电子芯片快1000倍,同时功耗降低1000倍。
这项研究发表在《自然·光子学》杂志上。该研究团队由MIT微纳米技术实验室(MTL)和MIT计算机科学与人工智能实验室(CSAIL)的研究人员组成。他们表示,他们的方法为开发更强大而高效的大型语言模型提供了一个新的方向,并且有望推动其他基于光的人工智能应用。
责任编辑:
X 关闭
2021年北向资金流入超4300亿元 外资热情拥抱中国资产
尽管面临疫情反复等多重不利因素,外资在2...北交所董事长徐明:北交所成立以来股票平均上涨98.9%
北京证券交易所董事长徐明8日表示,北交所...宁吉喆:2021年中国GDP将连续第二年超百万亿元
中国国家发改委副主任兼中国国家统计局...中国黄金消费市场渐回暖 “古法金”饰品获年轻消费者青睐
2022世界珠宝发展大会正在海口举行。8日在...观察:中国首条民营控股高铁开通之“时”与“势”
杭台高铁首趟列车即将发车。张煜欢摄1月8...中国生态环境保护实现“十四五”起步之年良好开局
中国生态环境部7日在北京召开2022年全国...人社部发布信用管理师国家职业技能标准
近日,人力资源和社会保障部对外发布了《...云南永善佛滩顺河梯级电站全面推进建设
日前,云南省永善县顺河村举行了佛滩顺河...中老铁路的背后 “税务专车”一路同行
2021年12月3日中老铁路正式开通运营,仅需...哈啰出行投资成立装饰工程公司 注册资本200万元
企查查APP显示,3月18日,上海钧住装饰工程有限公司成立,法定代表...Copyright © 2015-2022 华尔街建筑工程网版权所有 备案号:沪ICP备2022005074号-44 联系邮箱:58 55 97 3@qq.com