千呼万唤,苹果用AI重塑iOS,iPhone史上最强「进化」,答案终于揭晓!
库克这波直接站在了山顶……哦不,屋顶。
在日前,我们推送的文章介绍了iOS 18的十二项重大更新:
库克的“终极高考”,苹果操作系统史上最大更新:12项iOS 18功能超前看
苹果公司将在北京时间6月11日凌晨1点举行WWDC开发者大会的现场直播。今年将发布的iOS 18,将是苹果操作系统开启「AI改造」的第一场高考。
这些传闻最终被证明,通通都是真的——
苹果与OpenAI达成API接入合作,iOS直接嵌入ChatGPT,免费使用GPT-4o模型。Siri完成“换脑”重生,iPhone革新人机交互形态,AI智能助手代劳一切近在咫尺。
苹果正式宣布新业务板块「Apple Intelligence」(苹果智能),就此成为苹果「AI」业务线的全新代名词,这个词组缩写也是「AI」。
自媒体文章都说今年没人买iPhone了,发布会一结束,#WWDC24#立马冲进热搜前三。
简单总结,这场发布的内容就是苹果OS家族集体大更新。
在「Apple Intelligence」加持下,iOS的AI浓度飙升。下文提及的全部「Apple Intelligence」服务,苹果免费提供!
但是划重点!~ AI功能仅支持iPhone 15 Pro及以上设备,以及搭载M系列芯片的iPad与Mac设备。
厨子精准刀法,这是逼你换新设备呢!
内置的ChatGPT无需注册即可直接使用,同时也不会在ChatGPT官网留下使用痕迹与历史记录。
什么时候可以用上iOS 18?
据悉,iOS 18、iPadOS 18、macOS Sequoia的测试版将在今年秋季以英文版率先发布,应该是9月份。
iOS引入超多生成式AI功能
那么接下来我们具体来看,「Apple Intelligence」都有哪些服务?
苹果选择端侧AI+引入强大云端AI大模型来辅助内容生成。
苹果生成式AI的基础能力共分为四个方面:语言、图像、交互和个性化。
语言交互是大语言模型的基础,苹果AI能为iPhone通知消息设定优先级次序,把最重要的信息呈现在最上方。
同时,还支持在全系统内的写作工具(包括Keynotes以及第三方APP等), 支持AI重写、校对、提取摘要、创作评论等功能。
图像方面,苹果AI能分清楚相册中不同的面孔,并基于他们生成图像。
一共支持素描、插画、动画3种生成风格,可在信息、无边记等各种APP中使用。
如果想不到提示词,Image Playground还支持根据标签生成图像,模型在端侧运行。
另一个重大的图像生成能力是Emoji都能自定义了!
苹果整了一个趣味表情包生成器「Genmoji」,能根据提供的描述生成最符合你心意的Emoji,还能根据相册中的人物脸庞进行个性定制。
除此之外,苹果还在相册的编辑功能集成了擦除照片中的干扰物与路人甲的功能,这算得上最受消费者欢迎的AI能力了。
更可以直接在相册内直接使用自然语言搜索相关的图像及视频,直接描述当时拍摄的场景即可:
根据输入的提示词,苹果AI会选择出最佳相片进行一键剪辑生成MV:
交互方面,苹果AI可以在系统级上实现APP内或者跨APP之间的任务执行,同时开放了API接口,让开发者大胆创新。
比如直接开口询问Siri——帮我直接找出某人上周发给我的文档、找到与妈妈相关的照片等,AI系统就能一句话的功夫直接代劳。
最强大的系统级AI能力整合,莫过于深刻理解个人情景。
不仅分析各种个人信息数据,还能读懂屏幕。
举个例子,比如我突然邮件通知了一个临时会议,那么还能赶上接下来女儿的演出吗?
苹果AI可以自动识别分析邮件中的会议时间、知道“女儿”是哪位、找到“女儿”演出的时间地点日程、并从地图中规划路线,最后给出分析结果输出。
但如此深度的隐私信息智能管理,个人信息如何保障?
苹果表示推出了专门的隐私架构,涉及到个人隐私的计算,能在端侧就在端侧进行。在这方面,他们对硬件进行深度整合,A17 Pro以上的芯片都支持。同时在云端(云上贵州),他们也推出了Private Cloud Compute,可以提供芯片级的信息保护。
在用户发出指令后,苹果AI会先分析请求是否能在端侧利用大模型解决,如果不能再调用云端模型。
苹果自信表示,他们为AI隐私保护设立了全新标准。
除此之外,苹果AI还能对录音内容自动生成摘要、总结电话录音。
那么,广泛的百科问答该如何解决呢?
而对于需要更广阔知识、垂类特长的提问任务,苹果搬出了合作伙伴ChatGPT。
比如想要为菜谱提供灵感,可以问问Siri,Siri就会推荐用户启动ChatGPT。
如果接受这一建议,就能立马获得来自ChatGPT的答案,并且直接以iOS系统通知的方式呈现。
ChatGPT的多模态任务也同样支持,可以将照片、PDF等文档分享给Siri,调用ChatGPT帮忙解读。
手机上的数据会被分享到ChatGPT的服务器,事先会先征得用户意见。
以上功能都是免费的,很赞,苹果用户免费不限量玩GPT-4o。除此之外,用户也可以选择绑定自己的ChatGPT Plus账户,使用付费功能。
Siri打通ChatGPT的功能将在今年秋季推出。
但苹果并不满足于此,官方还透露未来允许用户选择自己喜欢的AI大模型使用,比如谷歌的Gemini。
全新Siri交互全面进化
即日起,Siri这个10年“AI老人”,在Apple Intelligence加持下,正式迈入新纪元。
Siri大变脸,换了扁平风格的新Logo,交互界面也更更自然、更贴合语境、也更接近用户。
从外观来看,当和Siri对话时,屏幕边缘会环绕一圈神秘的彩虹光晕。
Siri现在可以理解更丰富的自然语言,基础的日常问答不在话下:
并且Siri也可以通过上下文来理解用户的需求。
即使停顿一下再让它安排日程,它也能理解用户需要设置的日程指的是什么地点。
此外,以前只能通过语音唤醒交互的Siri,现在还支持文本输入指令。
只需在屏幕下方底部轻敲两下,就能召唤出键盘。
更重要的是,Siri已经掌握了大量关于iPhone功能和设置的信息,能够解答许多手机使用的问题。
即便你不记得具体某项功能叫什么名字,只需要表述个大概,Siri就能懂你说的是哪个功能。
One More Thing,鹅妹子嘤!
苹果预告了明年将推出更多新功能:
首先,「Apple Intelligence」将为Siri带来“屏幕内容感知”功能。
Siri还将能够理解用户在APP中的更多操作,代替用户完成数百种APP内与APP之间的交互操作,其中还可以代劳完成文本创作和图像生成。
比如让它找到某张照片,然后一键修图:
Siri还可以进行跨APP操作,将修好的图片自动添加到指定的备忘录中:
据苹果介绍,能够做到这些,还得益于其对APP Intents框架的增强,能让APP定义Siri、快捷指令及其它系统体验。
而这些增强功能并不局限于苹果第一方的APP,第三方开发者可以借助APP Intents API重新设置开发他们的APP中的各种交互操作。
还没完,「Apple Intelligence」所提供的“个人情境认知”能力,让Siri发现和理解的内容范围远超以往。
例如,用户直接询问“妈妈的航班几点到达”,Siri就能自主参考邮件APP中的航班详情以及航班实时动态,提供最新的到达时间。
接着询问“午饭怎么安排”,Siri就能追踪到消息APP闲聊里的内容,回答在哪个餐厅预订了餐桌,吃什么菜色。
紧接着,还能给出从机场到吃饭餐厅所需要的时长。
以上复杂场景的连贯骚操作,完全不需要用户去点击若干APP自己查询信息,直接问Siri,几秒钟就能搞定!
最后,Siri的所有新功能,都将同样适用于iPad和Mac设备上。
马斯克震怒,宣布将禁用iPhone
WWDC会后,马斯克发推文表示,如果OpenAI的GPT大模型被集成到苹果的操作系统中,将在公司全面禁止苹果的设备,称这种产品端的数据交换合作存在极高的安全风险。
不仅如此,他还发布了一张极具讽刺的梗图来总结他的观点。
马斯克强调,(苹果与OpenAI的合作)那将是不可接受的危害安全之举。
他还表示,旗下公司的访客将被要求在门口检查其苹果设备,并将手机放置在一个信号屏蔽容器当中。
马斯克补充说,苹果不够聪明,无法开发自己的人工智能,但却能确保OpenAI保护你的安全和隐私,这显然是荒谬的。苹果完全不清楚数据交给OpenAI后会发生什么,他们这么做完全是在出卖自己的用户。
这就很令人尴尬了,不知道老马将来会让员工使用什么设备工作?
不过话说回来,老马的iPhone型号太旧,原则上用不了「苹果AI」…
在发布会结束后,库克发布了一篇推文,总结苹果的「AI之道」:
在本场开发者活动上,苹果依然多次提及「机器学习」,但也首次提及「大语言模型」「扩散模型」等生成式AI专业词汇。
全局AI,打造真正的AI手机。
总之,苹果是终于出手了。