在本年3月GPT-4的发布会上，最令人感到震动的一幕应该是，OpenAI总裁Greg Brockman拿着一张草稿纸画了个草图，顺手拍了张照就让GPT-4在10秒钟时间里生成了这一个网站的代码。

　　ChatGPT此前曾推出过能上传图片的“代码解说器”功用，具有了一些开始处理图画和文本相片的才能。但毫无疑问，今日这个“顺手拍、随心问”才更靠近大多数用户的AI帮手运用场景。

　　依照标题的次序，今日更新的功用主要有两点：根据图片的对话，以及实时语音对话。

　　先说重视度十分高的图片谈天功用。依照OpenAI的说法，用户现在可以拍一张冰箱的相片，然后让ChatGPT来引荐菜谱；在旅行时拍照一张地标的相片，让ChatGPT来叙述这处景点的风趣之处。当然，也能拍一张数学题的相片，让ChatGPT来回答。

　　在官方给出的比如中，给到ChatGPT一张自行车的相片，问它怎么把座椅调低。然后ChatGPT表明看你车的类型，有的车有快拆杆，有的是用螺栓固定，然后给出了具体的过程。

　　随后官方假装不明白，拍了一张螺栓的相片，并用官方画图东西圈出来以示着重，然后问ChatGPT这是不是快拆杆。ChatGPT表明你这个是螺栓，得去找一个内六角扳手。

　　随后官方又拍了一张东西箱的相片，问ChatGPT究竟是哪一个扳手。ChatGPT也顺畅地认出了扳手，并精确提示用户究竟要拿哪一个尺度。

　　除此之外，OpenAI也将语音辨认、转录和音频生成功用打包，推出了AI语音谈天的功用，这项功用只适用于iOS和安卓客户端。官方表明，用户都可以用这项功用为家里的小孩讲睡前故事。或许家里吃着饭，忽然为某个问题吵起架来，这样一个时间段就可以把ChatGPT拍在桌面上处理争辩。

　　OpenAI介绍称，这项功用运用了Whisper开源语音辨认系统，将用户说的话转录成文本。一起还用上了一项新的文本转语音模型，并与专业配音演员协作，供给5种可供用户自行挑选的声响。

　　OpenAI表明，新的语音技能可以仅经过几秒钟的实在语音创造出传神的组成声响。这种功用打开了创造力的大门，也带来了新的危险——例如不法分子或许假造大众人物进行诈骗。所以OpenAI的决议计划是经过“语音谈天”这样的特定用例来推出这项功用。

　　一起OpenAI也在与更多的组织打开协作。例如流媒体公司Spotify就在试用这项功用来进行语音翻译，运用播客主持人的声响将播客音频翻译成其他言语，协助播客主持人扩展他们的全球影响力。

　　图画也会带来新的应战，例如错觉问题，以及运用者在高危险范畴却依靠模型对图画的解说。因此在上线前，OpenAI也对极端主义和科学才能等范畴进行了危险测验。

　　别的对看到这篇文章的中文读者来说，图片对话的体会大概率值得等待，但语音对话或许要打一些扣头。OpenAI表明，该模型拿手转录英文文本，但在一些其他言语，特别是那些运用非罗马字母的言语中体现欠安，主张非英语用户不可以运用ChatGPT来进行此类用处。