萤石蓝海大模型。蓝海寓意为地球上的生命最初诞生在蓝色的海洋,进而催生出不同智能等级的物种。萤石期待在高度复杂的物联数据海洋中,蓝海大模型能够奔向通用人工智能。
萤石蓝海大模型由萤石网络于2024年6月27日在2024年ECDC萤石云开发者大会上首次发布。2024年2024年9月24日获得审批。
萤石蓝海大模型具有端云协同、多模态、可交互的特点,具备场景化AI的能力,是针对智能家居、智能物联场景的垂类大模型。萤石蓝海大模型把AI技术层级划分为L0-L4五个层级,分别为:L0基础感知非交互算法、L1单模态交互、L2多模态交互、L3具身式交互、L4具身智能体,可以实现空间级具身交互。能帮助智能家居用户达到安心与趣味的满足,她也能帮助企业达到成本与效果的均衡。
产品定位及能力特点
萤石以智能家居及物联网开放服务为研究场景,开发了基于MoE(Mixture of Experts 混合专家模型)架构,具有文本、图像、语音、光电等多模态感知,生成与决策能力的萤石蓝海大模型。
三大能力特点: 智能交互、开发开放、具身代理
发布历程
萤石蓝海大模型由萤石网络于2024年6月27日在ECDC萤石云开发者大会发布。
2024年2024年9月24 审批下放
价值优势
智能家居空间具身交互
1-端云协同,联通复杂物理世界
2-提升智能家居场景交互体验,提供专属角色化服务
能力开放
1-开放能力丰富,29大类,100余种原子算法能力
2-应用场景覆盖零售连锁、畜牧养殖、教育教学等
安全可信
1-已通过生成式人工智能服务安全备案,模型资质合规有保障
2-多维度的安全架构保障数据安全
应用实例
萤石开放平台
萤石蓝海大模型可以提供100余种基础感知原子算法。算法覆盖文本、音频、图像及视频,如30+检测类算法、20+OCR算法、声纹识别、语音合成、图文问答等,可以被直接调用与使用,供开发者做出对应的AI解决方案[5]。
语音助手
语音助手能力被广泛应用在萤石多产品设备与萤石云app中。萤石蓝海大模型的端云协同能力可提供智能语音交互服务、语音交互体验。目前已实现对智能家居的控制、设备配置、查询、通用问答等功能。属于萤石蓝海大模型的基础功能,可以支撑L1-L4的交互需求。
数字人
萤石蓝海大模型可以提供定制数字人渲染能力,支持云端、设备端渲染。让语音助手在带屏类设备上拥有具体的交互形象与交互音色。是萤石蓝海大模型的基础功能,可以支撑L1-L4的交互需求。
AIGC场景
萤石蓝海大模型拥有强大的图像生成交互能力。支持AI消除、AI阔图、文本生图、AI抠图、图片风格化、动态照片等10余种AI图像编辑功能。在萤石云app上,可以对上报消息的图像进行二次内容创作于分享。生成的图片可以应用在屏保设置、头像设置等设备功能中。
智能家居管家
智能家居管家是家居场景化AI的能力,给家居场景提供更多有价值,有温度的信息。包含的功能还在持续进化中,当前包含的典型功能如下:
1-高精度报警消息
老人看护、婴儿看护、家庭安防等看护场景下,对视频、音频的报警事件进行报警。结合端云协同的萤石蓝海大模型能力,给人形检测、宠物检测、车辆检测、车牌识别、跌倒检测、婴儿啼哭检测、包裹看护、烟火检测等提供高精度的报警消息。
2-报警消息丰富化
告别原有的人有出现、有车出现的高冗余、低信息量的报警消息推送。提供更多报警图的细节描述信息。可以提供例如:两个小朋友围在地毯上玩,路边有一辆红色的车经过,一家人正在一起包饺子,爸爸在院子里晒谷子,两只小猫正在玩毛球等细粒度的报警图片描述信息。每天还可以提供一天信息的汇总报告。
3-开放录像检索
可以对过去的录像进行自然语言交互的检索。可以完成例如:宝宝今天是几点回家的?奶奶今天中午吃药了吗?今天妈妈午睡了吗?等录像内容的提问检索。
4-家庭精彩时光
对家庭中摄像头捕获的精彩时光图片、视频片段进行记录与自动剪辑,在特殊节日或者定期对这些记录进行推送。如:一家人在院子团聚吃饭,爸爸陪小孩玩游戏,小孩帮奶奶摘蔬菜,与狗狗一起跳舞等家庭精彩时光。
宠物管家
宠物管家是家居场景化AI的能力,可以给宠物看护场景提供实用,好玩的功能。包含的功能还在持续进化中,当前包含的典型功能如下:
1-宠物进食情况统计
配合相关配置,可以实现宠物进食情况的感知。对宠物进食情况进行记录与提醒。
2-宠物情绪识别
依靠对宠物叫声的感知与识别,解读宠物当前的情绪。给广大铲屎官提供了解宠物情绪的信息。
3-宠物精彩时光
结合萤石的专用设备,对宠物精彩时光图片、视频片段进行记录与自动剪辑。记录下宠物与铲屎官的精彩互动时刻、也可记录下各种萌宠时刻。
会议助手
会议助手是办公场景化AI能力的。依托萤石RTC与蓝海大模型的音频文本处理能力,可以对会议过程中的内容进行语音转写,支持区分不同发言人。同时,利用转写后的文字进行会议纪要总结,提升会议效率。
TA们在评论(已有0人参与)