以下只代表当前阶段的浅显思考,毕竟日新月异,更新迭代速度太快。或许过一段时间想法就变化了。目前的思考比较零碎,还不成体系。
AI应用的繁荣程度决定因素
真心觉得大模型目前落地企业场景最大的困难在于性能和成本。
或者这么说垂直应用兴起不会在今年,大概是在1~2年后
-API的推理成本是决定应用层繁荣程度的核心要素
因为AI创业不像传统互联网创业,拥抱AI需要算力消耗,当前的算力消耗和模型能力扔不适合普通创业者。技术能力仍然是这波浪潮的卡点,大模型目前的推理能力不适合普通人创业。再经过一轮“摩尔定律”后,国内市场可能迎来AI应用的爆发期。同时将有大量AI产品岗位的涌现。
目前百亿参数推理速度:每个GPU每秒生成30token
假设我们要去做一个实时文本交互的场景,我们都不说用千亿参数,用百亿参数的大模型,我们用还是相对比较好的GPU,不是很破的GPU,大概每秒可以生成30个字符,基本上一个GPU只能支持3-5个并发的用户,这个产品如果要做到100万个DAU,它对应的并发要1万,可能需要2000-3000个GPU,这个成本非常高。
如果是语音交互的场景,因为它要叠加TTS这些延迟,其实更难去做。
未来可能性预判:
-
一个大模型解决所有问题,推理成本随着摩尔定律降低
-
大模型作为交互入口,进行决策和分发,调用相应的中小模型完成具体任务
-
大模型和中小模型搭配只用:用中小模型来解决高频的需求,用大模型来解决长尾的需求(兜底)
目前的训练方式,对于模型来讲,依然是被动学习,和人类极大不同有3点:
1)人类是会主动学习,根据自己的不足,去寻找学习来源,而大模型是接受被动式填鸭训练;
2)人类会实时学习,而对于模型来讲,无法实时fine-tuning;
3)人类可以完成长任务,理论上人类输出token是无限的,比如人类可以完成一篇50万字的小说巨作,而模型不断输出直到50万字,人物关系和逻辑全乱了
大模型应用渗透率
GPT store生不逢时:生长在通用chatbot里的各类应用,爆发时间未到
-移动互联网渗透率超过50%以后的几年,才诞生出了应用生态繁荣,长出了Uber、滴滴、美团、饿了么、头条各个领域里的巨头
-大模型作为一种基建,和移动互联网一样,只有当大模型渗透率迈过50%左右渗透率时,才会出现以大模型为入口的应用产品繁荣,目前大模型在国内渗透率目前仅2%。
-所以说GPT store想在现阶段做到App store那样,大概率是一场梦
关于用户场景
1、AI 2.0 对场景定义的改变:从「切入原有方案(工作流)中的“某环节 or 某链路”进行“降本增效”」变为「在实际业务场景中,洞察场景中的长尾线索,通过Native + AI的手段,提供原有方案无法覆盖 or 人力本身无法满足的价值,并使之成为一种新的方案」
关于终端用户
关于应用产品类型,不要再说AI产品、agent产品等等,没有这类产品。依然是应用,AI是一种手段,不是目的。比如做剧情类游戏,过去用规则去生成故事,现在用AI去生成大纲,对于玩家来说,没有什么不同
终端用户不会为AI付费,只会为体验和效果付费,创业依然还是从用户真需求出发,不要从AI出发。比如用ai去做情感陪伴的……