極客號(hào)（Daydx.com）11月17日 消息:在本周三，一款名為”tldraw”的協(xié)作白板應(yīng)用發(fā)布了一項(xiàng)名為”Make It Real”的功能原型，引起了開發(fā)者社區(qū)的熱議。該功能利用OpenAI的GPT-4V API，將用戶繪制的矢量圖轉(zhuǎn)化為可運(yùn)行的Tailwind CSS和Javascript web代碼，從而復(fù)制用戶界面或創(chuàng)建類似Breakout的簡(jiǎn)單游戲。
體驗(yàn)網(wǎng)址：https://makereal.tldraw.com/
操作演示：https://twitter.com/tldraw/status/1724892287304646868?s=20
設(shè)計(jì)師Kevin Cannon在一個(gè)熱門的X線程中發(fā)帖稱:“我覺得我需要躺下來休息?！彼故玖送ㄟ^”Make It Real”創(chuàng)建的可旋轉(zhuǎn)屏幕上物體的滑塊、更改物體顏色的界面以及一個(gè)可玩的井字棋游戲。隨后，其他設(shè)計(jì)師也紛紛展示了通過繪制克隆Breakout、制作工作中的刻度鐘、畫蛇游戲、制作Pong游戲等的演示。
用戶可以在網(wǎng)上體驗(yàn)”Make It Real”的實(shí)時(shí)演示，但需要提供來自O(shè)penAI的API密鑰，這存在一定的安全風(fēng)險(xiǎn)。文章警告，如果他人截取了API密鑰，可能會(huì)在用戶名下產(chǎn)生大量費(fèi)用。技術(shù)能力強(qiáng)的用戶可以在本地運(yùn)行代碼，但仍需要OpenAI API訪問權(quán)限。
“tldraw”是一款由Steve Ruiz在倫敦開發(fā)的開源協(xié)作白板工具，提供基本的無限畫布，支持繪圖、文本和媒體，無需登錄。該項(xiàng)目于2021年推出，獲得270萬(wàn)美元的種子資金，并得到GitHub贊助支持。Ruiz最近將GPT-4V API的設(shè)計(jì)原型“draw-a-ui”整合到tldraw中，從而實(shí)現(xiàn)了AI驅(qū)動(dòng)的功能。
GPT-4V是OpenAI大型語(yǔ)言模型的一個(gè)版本，可以解釋視覺圖像并將其用作提示。根據(jù)AI專家Simon Willison在X上的解釋，Make It Real通過“生成繪制組件的base64編碼的PNG圖像，然后將其傳遞給GPT-4Vision”，使用系統(tǒng)提示和指令將圖像轉(zhuǎn)化為使用Tailwind的文件。
隨著更多人嘗試GPT-4V并將其與其他框架結(jié)合使用，我們有望在未來幾周看到更多OpenAI視覺解析技術(shù)的新穎應(yīng)用。本文還提到，開發(fā)者利用GPT-4V API創(chuàng)建了一個(gè)由假的AI生成的David Attenborough聲音實(shí)時(shí)敘述視頻的實(shí)例。
“Make It Real”為未來軟件開發(fā)或至少界面設(shè)計(jì)提供了一種可能的新模式，其中創(chuàng)建可運(yùn)行的原型就像制作視覺模型一樣簡(jiǎn)單，由AI模型完成。開發(fā)者M(jìn)ichael Dubakov在展示他自己的Make It Real創(chuàng)作時(shí)寫道:“好吧，@tldraw官方瘋狂了。有趣的是在5年后我們會(huì)走向何方…我已經(jīng)跟不上創(chuàng)新的步伐了?！?/p>
https://x.com/tldraw/status/1724892287304646868?s=20
