7月4日-7月7日,2024寰宇人为智能大会(WAIC)暨人为智能环球处理高级别聚会正在上海进行，岩芯数智RockAI携Yan1.2多模态大模子亮相。

　　正在大会现场，研发团队呈现了一款安顿了Yan1.2多模态大模子的智能呆板人幼智，它不妨基于Yan1.2的语音和视觉打点才智，及时识别处境、凿凿了解用户的朦胧指令和企图，并据此驾驭其板滞躯体高效完结各种纷乱职责。值得一提的是，此次“幼智”呆板人搭载的焦点硬件是以低算力著称的树莓派第五代芯片。正在极低算力的兴办上完毕了庞大的多模态才智。

　　据悉，树莓派的算力只要日常电脑的八分之一，可通常利用于物联网、工业主动化设备、智能家居等场景及兴办，譬如门禁、呆板人等终端，同时，大个别境况没有联网设备。而目前的Transformer大模子不经压缩和裁剪是很难安顿到树莓派上的正在向更多低算力端侧兴办兼容的道上，RockAI一边通过自研底层架构删除算力耗费，一边依附算法立异进一步降本增效，粉碎大模子正在端侧安顿“有损压缩”的魔咒。

　　正在PC端和手机端，Yan1.2可畅达地实践大领域数据集的天然言语打点职责和纷乱准备，无需依赖云端即可完毕速捷反映，完毕每秒20+tokens的输出，其Agent联动才智可依据用户指令举行图文识别、主体创作等多项职责，为用户供给更优质的体验。而正在树莓派如许的微型准备机上，Yan模子乃至完毕了每秒6-7个tokens的反映速率。

　　公然材料显示，正在本年1月，RockAI推出了国内首个非Attention机造的Yan架构设备，以线性准备庖代Attention，大幅低重算力需求。其云端大模子以百亿级参数媲美千亿参数大模子功能效率的同时，Yan1.0版本正在个体电脑端的得胜运转，也证据了Yan模子“原生无损”正在主流消费级CPU等端侧兴办上运转的实操性。历经半年的身手更新和迭代升级，Yan1.2更进一步设备，以6+ tokens/s的速率“原生无损”跑通树莓派，翻开了低算力兴办端及离线多场景利用的大门。

　　以往看待大模子的开荒合键是通过预锻炼和后期的微调对齐，看待大模子正在通用场景的应用来说绰绰足够，但换一个没有始末预锻炼的事情场景，全面都要重新再来设备。据悉，正在Yan架构策画之初，RockAI开创性地提出了相应的办理计划——“同步进修机造”，也便是让模子具备及时进修的才智，可能正在推理的同时，及时有用且连接性地举行学问更新和进修，无需“返厂”举行再次更新或预锻炼，从而使得大模子可能像人类进修相通确立自身独有的学问系统。

　　正如RockAI CEO刘凡平所说：“咱们所构念的通用人为智能,是正在诸如智妙手机、呆板人以及其他多样化兴办上表示出的杰出合适力与高度本性化的交互才智。RockAI守候不妨从头界说大模子的价格，让寰宇上每一台兴办都具有自身的智能，让每个体都能具有专属的本性化人为智能效劳PG电子官网。”PG电子官网岩芯数智RockAI突破“有损压缩”魔咒 帮低算力开发告终壮健多模态本领设备