点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:数字技术与大语言模型时代
首页> 社科 > 正文

数字技术与大语言模型时代

  作者:陈晓东(中国社会科学院工业经济研究所研究员)

  在人类发展史上,由于技术进步带来的全新产品与服务,不仅满足了既有的需求还创造了新的需求。随着数字技术的广泛应用,以智能化为特征的第四次工业革命已经悄然出现。ChatGPT由于具备了较为流畅的逻辑性对话和交互能力,体现出具有高水平结构复杂性和大量参数的大模型可以实现深度学习,一经问世就备受市场关注。从本质上讲,这种大模型是大语言模型(LLM),具有大规模参数和复杂网络结构,引发了人工智能生成内容(AIGC)技术的质变。与传统语言模型不同,大语言模型通过在大规模语料库上进行训练来学习语言的统计规律,能够自动学习语法、句法、语义等多层次的语言规律。人工智能的大语言模型参数一般有1亿多个,且这一标准还在不断提高,而比大语言模型更大、更复杂的人工神经网络模型,通常拥有数万亿到数十万亿个参数的超大模型。超大模型通常被用于解决自然语言处理(NLP)中的问答和机器翻译、计算机视觉中的目标检测和图像生成等更为复杂的任务。从人工智能的生成角度来看,其模型可以根据文本提示生成代码,还可以解释甚至在某些情况下调试代码。这一过程不仅可以实现文本、图像、音频、视频的生成并构建多模态,还可以在更为广泛的领域生成新的设计、知识和思想,乃至实现广义的艺术和科学再创造。

  大语言模型的训练需要大量的计算资源和数据。OpenAI就用了数万台CPU、GPU(图像处理单元)和多种技术对其模型进行优化调整。2018—2023年,OpenAI的大语言模型实现了数次迭代;OpenAI还提供了API接口,使得开发者可以利用大语言模型进行NLP的应用开发。这是在数学、统计学、计算机科学、物理学、工程学、神经学、语言学、哲学、人工智能等诸多学科融合基础上的一次突变。正如谷歌研究院、斯坦福大学和DeepMind联合发表的《大语言模型的涌现能力》中所提及的:“许多新的能力在中小模型上线性放大规模都得不到线性的增长,模型规模必须呈指数级增长并超过某个临界点,新技能才会突飞猛进。”因此,大语言模型的训练和调整需要极其巨大的算力、算法、数据、技术以及超大规模的投入与协作,而前三者作为人工智能的三要素,在产业数字化的智能升级进程中发挥着巨大作用。其中,数据是生产资料,算法代表新生产关系,算力作为新生产力支撑着算法和数据,而算力水平又直接决定数据处理能力的强弱。在复杂的算力场景中,如何组合不同的算力类型,是降低成本并最终得到市场认可的关键。

  当前,算力已成为全球主要国家的战略布局核心,更成为全球战略竞争新焦点,对于我国在推进新型工业化过程中抢占新一轮科技革命和产业变革制高点同样具有深刻意义。大语言模型对算力的要求更多地聚焦在智能算力上,预计到2026年,中国智能算力规模将达1271.4 EFLOPS(即每秒浮点运算次数),年复合增长率达52.3%。随着“东数西算”工程与新型基础设施等政策出台,我国算力整体布局从东部地区开始逐渐向中西部地区延伸,因此要鼓励有条件的地区因地制宜探索试点算力新领域。在加大算力作为经济发展重要底层支撑的同时,还要着力培育并加快建立我国人工智能发展的完整生态。OpenAI专注于大语言模型研发,算力由微软公司完成,数据由专门公司负责清洗……OpenAI正是在整个人工智能生态中完成了大语言模型开发,这样的多方协作生态不断促使各参与主体的自主创新与协同发展。发展我国大语言模型,必须建立一个统一的大语言模型平台和基座,对接国产算力公司并做好接口,让所有企业都可以参与使用,这样才能促进人工智能尤其是大语言模型的生态链建设,在同经济社会发展深度融合中推动我国新一代人工智能健康发展。

[ 责编:李彬 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 课本里的抗日英雄 我们从未忘记

  • AI古风动画丨在古诗里过一天清明节

独家策划

推荐阅读
2025年4月1日,北京怀柔慕田峪长城内外山花盛开,美丽的春花把古长城打扮的多姿多娇,犹如春天里一幅壮美的风景画
2025-04-02 15:44
2025年4月1日,船舶航行在安徽省合肥市庐江县境内的引江济淮航道上,标志着菜子湖湿地候鸟越冬季禁航结束,菜(子湖)巢(湖)线恢复通航
2025-04-01 15:40
2025年3月31日,江苏苏州吴中区光福镇,太湖之滨,桃花、樱花、油菜花等竞相绽放,生态优美,春景如画
2025-04-01 15:31
用镜头记录城市更新 青岛首届“百家媒体看改变”活动圆满闭幕
2025-03-20 10:14
"昭君杯"首届全国老年合唱大赛在北京国家大剧院正式启动
2025-03-19 16:10
2025年2月25日,云南省昭通市绥江县,新市金沙江特大桥施工现场,工人正加紧施工。
2025-02-26 15:41
2025年2月7日,重庆市巫山县曲尺乡月明村一大片梅花竞相开放、灿若红霞,游客和市民前来游玩打卡,尽享春日的快乐和惬意
2025-02-08 14:52
2025年2月5日,福建省福清市石竹山风景区,一场非遗英歌舞、建瓯挑幡等非遗表演正在进行,让游客感受中华优秀传统文化魅力,丰富景区文化内涵和游览品质
2025-02-06 15:55
2025年1月20日,江西省赣州市章贡区城市中央公园内,游船与湖水、植被、高楼相互映衬,呈现出一幅冬日多彩美丽生态画卷
2025-01-20 15:30
2025年1月16日,受低温天气影响,山西省运城盐湖出现冬季独特的“硝花”景观,水面上的硝花形态各异晶莹剔透,美不胜收。
2025-01-16 15:56
一位“行者”行走在广袤的沙漠中,遮掩着绝世的面庞,一面“古镜”掩埋于厚重的沙下,刻满了时间的裂痕。
2025-01-13 17:25
2025年1月9日,重庆市酉阳土家族苗族自治县桃花源国家森林公园白雪皑皑,雪景如画
2025-01-09 15:24
关爱卡寒假公益行 助力云南各族青少年儿童梦想起航
2025-01-08 14:42
2025年1月5日,在山西太原南站开往呼和浩特东站的D4022次列车前,游客自拍合影。
2025-01-06 16:01
2024年12月8日,广西梧州岑溪市岑城镇木榔村,生态田园中阡陌纵横线条分明,冬韵如画。
2024-12-10 16:48
2024年12月10日,贵州省黔西市绿化白族彝族乡大海子村,青山环绕树木葱茏,构成一幅美丽的生态画卷。
2024-12-10 16:40
2024年12月6日,古城苏州街头,成片的银杏、红枫等树木色彩斑斓满目缤纷,成为一道迷人的风景。
2024-12-06 15:48
2024年12月6日,初冬时节,山东省青岛市即墨区灵山街道花卉种植基地的大棚里一片繁忙,种植户忙着管护花卉。
2024-12-06 15:48
2024年11月30日,初冬时节,河南省南阳卧龙岗文化园内,树木换上"新装",宛如一幅五彩斑斓的画卷,吸引不少市民、游客前往赏景。
2024-11-30 18:34
民以食为天,一日三餐承载着居民的幸福感。
2024-11-27 18:59
加载更多