The Shape of AI (上)

picture

2024-11-20

The Shape of AI (上)

Wayfinders 引路者



Follow Ups(跟隨)



在理想的狀況下,使用者擅長對AI下指令,並可以在初期就得到他們想要的答覆,但在AI剛開始崛起的時代,事實並非如此,因此follow up變得非常重要,他用來減少使用者與AI間的磨合期,讓使用者能更快速精準的與AI合作。



Follow ups 可以引導使用者進行下一步,例如當你詢問AI 「今天晚餐建議吃什麼?」 除了回答:「今天是一個吃火鍋的好日子」之外,隨之而來的給你下一個問題可以問什麼的提示,例如你可以問「提供我麻辣火鍋的食譜」或是「推薦附近的火鍋店」。



如此一來可以一步一步地引導使用者,將複雜的問題拆解,並透過AI達成他們最終的任務外,也會讓使用者感受到AI與他們有同在一條道路上。



例如:Perplexity 會在你初次輸入的指令不夠清楚的情況下,顯示推薦的 follow ups,來引導使用者更完善他們的指令。





Nudges(輕推)



通常一套 AI 系統常常同時存在許多不同的功能,能做到的事也越來越多,但是在剛開始使用的使用者並非能更一次了解整套系統,以及他們能在該平台上做到的事。



這時Nudges就扮演了非常重要的角色,他以循序漸進曝光的方式,逐漸指導使用者,完成系統教學的動作,它們就像功能的快捷鍵,在適當的時機出現供使用者點按,讓使用者在不費吹灰之力的情況下發掘新功能。



例如: 在你對google提交關鍵字後,會出現提示告訴你可以透過AI工具來更深入的搜尋你想要的結果





Suggestions (建議)



建議的關鍵字、動作或指令可以幫助困惑的使用者,尤其是在他們剛開始使用你的產品時,在AI 未搜集使用者足夠的資訊下,可能會推薦幾個指令來引導使用者開始使用產品,但在一段時間過後,最好的狀態是AI的建議會根據不同的使用者來客製化。



例如:Github Copilot 會隨著對話的推進,自動不斷的更新建議的指令,有時指令可能是很長的一段話,這時候有了建議指令,使用者就可以從花一段時間來打指令到只需要按一個按鍵就完成指令,省下不少心力和時間。





Templates (模板)



當使用者需要更精準的結果時,指令相對來說也會越變越複雜,也並非每個使用者在沒有引導的情況下能夠完整又精確的敘述指令以完成工作,Templates 在此就成為了重要的工具,他可以提供幾個重要的參數供使用者設定,再搭配開放性指令,讓使用者可以更快速並且精準的像 AI 表達需求。



例如:Zapier 提供了特定的一些參數設定,讓使用者在產出圖片時,能夠更可能的接近他們想要的結果。






Inputs 輸入



Auto Fill (自動填寫)



以前,你可能在google sheet 中的第一格輸入了一個日期,接下來google就可以依照相同的格式,為你填寫下一格,



有了更進步的AI後,現在不僅僅只是相同格式的複製,你更可以從其他的資料庫當中提取你所需要的資訊,並讓AI幫你自動填寫表格。

自動填寫通常都是出現在表單類的介面中,



幾個需要注意的重點有:

在幫使用者填上之前,最好先顯示部分即將填寫上的資料,並讓使用者決定是否使用AI來幫他們填上資料。

也要記住,自動填寫的資料不要覆蓋到已經填寫好的資料。



Inline action(內部關聯操作)



有時候,你會需要AI微調他們回應,但是又不希望它重新產出新的內容,在這樣的情況下,Inline action就是非常重要的存在。 不管你是想要針對部分AI的回覆進行微調或是增加新的東西,Inline action便可以讓使用者達到這項任務,也充分展現了AI的靈活性,



最常見的方式是在AI的回覆介面中加入“新增動作”或是“回覆”的按鈕,甚至有些AI可以自動連貫前後文內容,在使用者輸入新的指令時,自動將先前對話中的概念及元素融入新的指令中,當然使用者也可以要求AI捨棄先前的內容已獲得全新的答覆。



例如:Github Copilot 針對編輯器中不同行的編碼進行指令





Madlibs (填詞)



Madlibs 是一種工具或模式,可以幫助用戶快速建立和重複使用固定格式。

Madlibs 這個概念來自一種填字遊戲,玩家在句子中填入缺少的詞語,創造出有趣的結果。

在 AI 中,Madlibs 是一種輸入格式,它讓你設置好一個框架或模板,然後每次只需要填入少數幾個變數來完成任務。



想像一下你要經常寫電子郵件或報告,而這些任務的格式基本上是固定的,比如:

電子郵件格式:標題、問候語、主體內容、結尾語。

報告格式:標題、引言、分析內容、結論。



Madlibs 讓你可以先建立這些格式的框架。這個框架就像一個模板,裡面可能有一些空白部分,你可以根據需要每次填入不同的內容。

Madlibs 的具體運作流程如下:

  • 設置模板:你可以設置一個固定的模板,把那些不變的部分寫好,比如一封郵件的開頭和結尾。
  • 模板中留下空白的地方,這些是需要根據不同情況填寫的變數,比如收件人的名字、郵件的主題。
  • 輸入變數:每次使用這個模板時,只需要填入變數部分的內容,比如具體的名字、日期、數據等等。
  • 自動生成結果:AI 系統會根據模板和你輸入的變數,生成完整的結果,比如一封完整的郵件、一份報告等。




Open input (開放式輸入法)

大家最為熟知,使用Open input的AI 工具就是ChatGPT了,這種模式允許使用者使用自然語言直接與AI互動,

這種模式不需要使用者學習,可以讓他們很輕鬆且自然的學會如何操作該AI,



但由於其開放性,同時也容易造成使用者不知道該說什麼的情況,

雖然這種AI介面及操作方式極為簡單,但對於不知道自己想要搜尋什麼的使用者來說,會出現類似選擇障礙的情況。稱之為the blank canvas effect.



除此之外,此種類型的AI也會需要使用者擁有輸入指令的技巧,瞭解如何與AI溝通來達到預期的目的,

此類技巧在這AI剛興起的時代並不是所有人都擁有的。 這個時候在我們上一個主題提到的 Wayfinger 就成了很大的協助角色。

雖然Open Input讓使用者以更自然的方式接近AI,並且可以在過程中非常自由且有彈性的進行任務,但仍然存在幾個風險,



例如:

因為過於自由,反而不知所措的使用者。

因自然語言在不同個體上存在許多差異,使用者輸入的內容與AI的理解可能存在出入,導致結果不盡理想。

由於自由的輸入,可能讓使用者輸入一些個人隱私或是敏感詞語,這個時候隱私保護的應變措施變得更為重要



Remix / Blend (混合模式)



Remix/ Blend 這種方法,讓 AI 生成內容時變得更有創意和靈活性。利用多個來源的「tokens」(詞彙或關鍵字等元素),然後將它們組合、混合,來生成無限多樣的結果。



當你將來自不同來源的元素(如詞彙、圖片、參考資料)進行組合,或在結果生成後加入更多條件或參數時,AI 可以生成更多符合你需求的內容,甚至帶來一些你未曾想到的創意。



用戶不需要完全理解 AI 背後的技術,就可以利用這種方法來達到自己想要的結果。這給了用戶很大的創作自由和可能性。

最直接的例子是圖像生成器類型的AI,大部分都允許使用者從其他來源上傳圖片,或是用已生成的圖片的部分來生成新圖像,在不斷融合的過程中產出更符合自己期待或是更有創意的結果。



這種重新組合提示的方式,其實跟我們日常生活中的創作方式很像,比如哼唱熟悉的曲調但換了新歌詞,或者發現看似不相關的書籍之間的聯繫。

這樣的過程本質上就是一種創意的混合,這也是人類思維中的一個重要特質。



當用戶沒能得到想要的結果時,通過讓他們添加參考點或新信息,可以幫助他們重新掌控創作過程,避免陷入困境。這些功能應該設計得簡單明瞭,鼓勵用戶與模型互動。因為玩得越多,理解得越深。



例如:Midjourney 的混合模式,允許使用者上傳數張圖片來讓AI混合它們





Summary (總結)



利用AI對文章、逐字稿、會議記錄等冗長的文字進行總結已經不是什麼新奇的功能了,不過在設計時需注意以下幾點:



  • 如果總結引用了多個不同的來源,請標記引用的地方,並提供路徑讓使用者回到來源
  • 讓使用者可以自行調整或新增總結的來源
  • 清楚的標示該資訊為「總結」,以此讓使用者知道某些資訊有遺漏的可能性

Synthesis (整合)



與 Summary 有點類似,但這個模式的核心是在於重組和組織信息。

例如 Miro 或 Figjam,這些工具允許用戶選擇多個元素或文本輸入,然後讓 AI 整理並分類不同的關鍵主題。



這種模式不需要用戶輸入複雜的提示,任何人都可以使用。用戶只需選擇想要整合的元素,然後一鍵即可觸發。

但在使用時需要考慮 AI 的局限性,避免用戶產生誤導性的結論。



Token layering (元素堆疊)



tokens 是 AI 理解和生成結果的重要工具,在 AI 的世界中,tokens 是用來幫助 AI 理解和處理人類語言的單位。



而 Token layering 是一種幫助用戶更精確地指導 AI 的技巧。這種技術不僅能提升結果的質量,還能讓用戶在使用 AI 時感到更輕鬆和有趣。



「Token layering」是一種通過有意地組合多個 tokens 來精確指導 AI 理解用戶提示的技術。這種技術最初在一些工具中廣泛使用,如圖像生成器,要求用戶列出並權衡各個 tokens,以獲得他們想要的結果。



這種方法對於創意性思維或注入特定風格和語氣非常有效,但也可能讓新手感到困難,這時我們前面提過的Follow ups可以解決類似的問題。



一些工具(如 Jasper 和 Perplexity)在用戶提交初始提示後,會自動生成後續問題,這些問題本身就是用來捕捉額外的 tokens。這樣的系統能夠逐步了解用戶的意圖,而不會讓用戶一開始就感到負擔。



另外,AI 在處理 tokens 時,可能會基於文化聯想來做出推斷。例如,當你要求 AI 生成一個「城市裡的熊」時,AI 可能會選擇一個棕熊並放在一個典型的西方城市裡。如果你指定是一隻「熊貓」,AI 可能會將場景放置在中國,因為熊貓與中國有著強烈的文化聯繫。這種情況說明了我們的詞語(tokens)中隱含的偏見和聯想是如何影響 AI 的結果的。




Tuners 調諧器



Filter (過濾器)



Filter 就像是給 AI 設置的規則,讓它在處理數據時遵循特定的限制或格式。這些Filter可以幫助AI避免產生不相關或不符合使用者預期的結果。



用戶與 AI 互動時,通常會遇到四種情境:

1. 聚焦模式:用戶明確知道自己想要的結果,也知道如何達成(例如:編輯現有內容,改變其語氣或格式)。

2. 導航模式:用戶有目標,但不確定該怎麼實現(例如:試圖找到某個問題的答案,但不確定用什麼輸入能達到目標)。

3. 綜合模式:從已知的數據中得出新的結論或決策(例如:從一組固定的數據中尋找趨勢或洞察)。

4. 瀏覽模式:純粹的探索模式,用戶嘗試不同的輸入,看看會產生什麼結果(例如:創意性地使用不同的提示詞,看看能生成什麼圖像)。



在這些情境下,Filter可以幫助用戶引導 AI 朝著他們希望的方向發展。



inpainting (畫中畫)



「inpainting」這種技術,這是一種讓AI在內容編輯中進行局部修改的方式,而不必重新生成整個內容。這技術適用於多種內容類型,例如文字、圖像和音頻,讓用戶可以精確地調整某些部分。



這可以用於:

  • 文字編輯:例如,在寫作時,你可以要求AI僅修改某段文字的語氣或內容。
  • 圖像編輯:例如,使用Adobe Firefly時,你可以選擇圖片中的某一部分進行編輯,AI會根據你的指示進行調整。
  • 音頻編輯:例如,在生成音頻時,你可以對某個片段進行調整或重新生成。


在設計時要注意的是:

  • 使用者為中心:AI在修改內容時,始終保持用戶的控制權。AI提供建議,但最終決定權在用戶手中。
  • 修改選項:例如,Adobe Firefly提供多個版本的結果讓用戶選擇,Notion則讓用戶在接受修改前先進行預覽。
  • 顯示功能:界面應清晰顯示inpainting功能,例如Adobe Firefly的「Edit」選項或Notion的「Ask AI」功能。
  • 易於操作:讓用戶可以輕鬆選擇要修改的部分並提供修改指令。例如,Adobe Firefly使用簡單的UI工具來選擇和編輯圖片區域。
  • 提供選擇:AI應提供多個修改版本供用戶選擇,而不是直接覆蓋原內容。這可以幫助用戶比較不同的修改方案,選擇最適合的結果。


Model management (模型管理)



「模型切換」這個概念,尤其是在AI生成工具中,讓用戶能夠根據需要選擇不同的模型。模型切換可以影響結果的質量、風格、成本以及安全性等多個方面。



為什麼要切換模型?

  • 準確性與可靠性:不同模型在生成內容時可能會有不同的準確性和可靠性。某些模型可能會更容易出現錯誤或「幻覺」(生成不真實的內容),而另一些模型則可能提供更精確的結果。
  • 更新與成本:新版模型通常會包含更新的數據和改進的算法,能夠生成更好的結果,但可能會收取更高的費用。用戶可能會選擇舊版本來降低成本,特別是當他們只是草擬或測試內容時。
  • 美學與風格:對於圖像生成器來說,不同模型可以提供不同的視覺風格,就像某些人喜歡用黑膠唱片聽特定的音樂風格一樣。用戶可以選擇符合自己需求的模型來獲得想要的風格。
  • 安全性:某些模型可能不適合處理敏感或專有數據,因為不同模型的提供者可能有不同的數據處理政策。用戶可能會選擇安全性更高的模型來保護其數據。
  • 比較與研究:研究人員或工程師可能需要在不同模型之間切換,以比較結果或進行研究。


為了讓用戶能夠充分利用這一功能,需要在界面設計中考慮靈活設置、成本控制和版本記錄等因素。





Parameters (參數)



Parameters與過濾器(filters)不同,filters用來限制AI的輸入和輸出,而Parameters則用來調整生成結果的各種元素,比如語氣、風格、詞彙等。



在設計時應考慮以下幾點:

  • 可選擇的界面設計:根據用戶的需求,提供適當數量的參數選項。對於新手用戶或簡單用途,簡化參數選擇;對於進階用戶,提供更多控制選項以支持複雜的需求。
  • 參數與過濾器結合:參數可以與Filter和token layering結合使用,幫助用戶達到更具體的結果。記錄參數的元數據,方便用戶回顧和管理。
  • 透明度和記錄:在生成的內容中記錄參數,並確保參數的使用對用戶透明。這樣用戶可以清楚了解參數如何影響最終結果,並根據需要進行調整。


例如: Midjourney 在他們網頁版的生成器中,設計了清楚且操作簡易的參數設定介面





Personal voice (個性化)



許多生成內容的工具允許用戶設置或選擇特定的「語調」,這樣品牌或個人的內容風格可以保持一致。例如,公司的市場營銷團隊A和B應該使用相同的語調,以確保品牌形象的一致性。如果市場營銷團隊A寫的內容和團隊B寫的內容風格完全不同,那麼品牌形象無法正確的被傳達或推廣。



未來可能會有更多有趣的應用,比如設定一種「語調」,讓AI能在你不在的情況下(如出差、遠程工作、甚至不幸去世)以你的風格進行溝通。這種技術也可以用於研究,了解不同的「語調」如何影響AI對提示的反應。



AI的「個性」影響它如何與用戶互動。這種個性可以根據用戶的需求進行調整,例如讓AI顯得更友善或更正式。而「語調」則影響AI生成內容時的風格,使其反映品牌或個人的特定風格。 通過控制語調和風格,以及使用關鍵字和模板,可以使AI生成的內容更符合用戶的需求,從而提高專業應用的效果。



不過,使用AI模擬人類的語調和風格可能引發倫理問題。過度依賴AI可能會取代人類創作的價值,並可能產生「不自然」的感覺。因此,這些工具應該用於輔助創作,而不是取代人類創作。



例如:Grammarly 有設計一套專門設定語調參數的介面,供使用者更方便的選擇貼近自己需求的語調





Primary sources (主要參考資料)



設計讓用戶提供參考資料的功能,可以幫助AI更準確地理解用戶的意圖,並生成更符合預期的回應,如果需要,還可以包含多個參考資料來幫助AI生成更全面的回答。



這些參考資料充當了AI的「初始篩選器」,特別是在進行圖像編輯(inpainting)時,用戶可以上傳樣本參考,這樣AI可以根據這些樣本來生成具有相似風格的內容。



在某些情況下,參考資料作為提示的主題本身。例如,你可能會要求AI總結一篇文檔或對某段內容進行分析。在這種情況下,參考資料成為AI生成回應的核心資料。例如,使用GitHub Copilot來解釋代碼,或使用Adobe PDF的AI功能來解釋文檔中的內容。



不過,所提供的參考資料中可能包含我們無法看到的數據偏見。例如,參考資料可能包含抄襲的內容或不準確的資訊,這可能導致AI生成的內容不符合預期。



如此一來可能使我們不容易檢查AI結果的準確性,從而降低AI的信任度。



例如:Claude提供使用者上傳多筆參考資料作為生成錨點





References (引用來源)



“檢索增強生成”(Retrieval-Augmented Generation,簡稱 RAG)的概念和它如何改變了大型語言模型(LLMs)的數據處理方式以及用戶的體驗呢?



以前,大型語言模型(比如聊天機器人)只能根據它們訓練時學到的資料來回答問題。這意味著它們的知識有限,經常會產生錯誤的回答。



RAG 技術讓這些模型可以同時使用自己的知識和外部資料,這樣可以大大提升回答的準確性和豐富性。



除此之外,RAG還可整合私有資料和公共資料,把公司內部資料(像是銷售數據、產品信息)和公共資料結合起來,這樣能更好地提供有用的信息和答案。



其應用場景包括

  • 定制員工培訓:RAG 可以用來創建針對公司內部培訓的課程,使用市場調研、產品開發文件等資料。AI 可以用來做練習題、評分練習,甚至幫助制定個性化的培訓內容。
  • 提升客戶體驗:RAG 可以用來整合客戶反饋和公司內部資料,幫助設計產品,並快速了解客戶需求,提升客戶滿意度。


在設計時也須注意

  • 顯示參考來源:讓用戶能看到 AI 使用的資料來源,並根據需要添加或刪除參考資料。這樣可以幫助用戶理解生成內容的來源和可靠性。
  • 參考資料的互動性:通過添加或修改參考資料,用戶可以調整 AI 的回答方式,比如語氣或內容的深度。


RAG 技術讓 AI 能更靈活地使用外部資料,提升回答的準確性和透明度,但也需要注意資料質量和安全問題。



例如: ChatGPT 現在可直接連動你的google drive 或 One drive作為參考資料來源之一





Workflows (工作流程)



工作流程是指將多個步驟或提示(prompts)組合起來,形成一個連貫的過程來完成複雜的任務。例如,生成一篇文章可能需要多個步驟來整理信息、生成內容和進行修訂。



工作流程是一個強大的工具,能幫助用戶更高效、一致地處理多步驟的任務。它通過將複雜的任務分解為簡單的步驟來提高工作效率,但也需要注意避免過度複雜化,並確保每個步驟都能正常運行。



工作流程中的每個步驟都是一個單獨的提示或操作。這些步驟可以是生成內容、提取數據等,並可以與其他平台集成。



例如:假設你需要生成一份關於客戶反饋的報告。你可以設計一個工作流程,包括以下步驟:

  • 分析客戶反饋,總結主要要點
  • 根據這些要點生成一個草稿
  • 讓相關人員審核並發送報告


工作流程可以把複雜的任務拆分為簡單的步驟,讓每一步都清晰明確,避免了單一提示過於繁瑣的問題。



例如: Copy.ai 提供了多個步驟的工作流程,而且可以儲存成模板供其他協作者使用





Reference



The Shape of AI

jodie_avatar

Jodie Wu

UIUX Designer

Has a weird obsession with fluffy things. During meetings, there are always two little minions by her side cheering her on with gusto. If it comes to a fight, they can do nothing but meow.

Check more from this author

Share to

Back