互動設計

互動設計

這個分類整理互動裝置、展示科技與即時影像相關實作,記錄從概念到技術落地的過程。

子分類 StreamDiffusion TouchDesigner 動作辨識 實體介面

Arduino 串接 Unity / TouchDesigner:使用 ArduinoJson 實現感測資料 JSON 序列化傳輸

用 Arduino 串 Unity 或 TouchDesigner 時,真正要先穩住的是資料格式。本文以 ArduinoJson 7 為前提,示範如何把感測資料整理成一行一筆的 JSON,並完成 Arduino、Unity、TouchDesigner 之間的雙向通訊。
Ted Liou 2025.08.04 實體介面

StreamDiffusion:用 OSC 控制提示詞,並以 NDI 傳送即時影像

StreamDiffusion 要接進互動系統,先把通訊層搭起來。本文把責任拆成兩條線:用 OSC 收提示詞等控制訊息,用 NDI 收送影像。這層骨架一旦穩住,後面接 TouchDesigner 或 Unity 都會輕鬆很多。
Ted Liou 2025.06.13 StreamDiffusion

Unity + Arduino:用 RFID 開發實體道具辨識的互動功能

RFID 很適合拿來做實體道具辨識。本文以 Arduino Uno、MFRC522 與 Unity 為例,示範如何把標籤 UID 轉成乾淨的序列資料,再在 Unity 裡分類成互動選項,完成一個可直接延伸的實體互動骨架。
Ted Liou 2025.06.10 實體介面

StreamDiffusion:Windows 平台建置與初次驗證

Windows 上要把 StreamDiffusion 裝到能穩定跑,關鍵不在於指令多快背完,而是先把版本組合抓對。本文以官方文件仍明確記載的 Python 3.10、PyTorch 2.1.0 與 CUDA 11.8 或 12.1 為基準,整理一套比較不容易踩雷的建置流程,最後用 Img2Img 與 Txt2Img 各做一次驗證。
Ted Liou 2025.06.07 StreamDiffusion

Unity 6 如何用 YOLO11 開發動作捕捉並同步關節座標?

動作捕捉能創造有沉浸感的互動體驗,玩家可以透過網路視訊鏡頭來與作品互動。YOLO11 有提供開箱即用的動作捕捉模型,我們可以藉由將 YOLO 分析出來的關節座標傳送到 Unity 來建構互動裝置。本文將說明如何使用我製作的 MDF-YOLO11 開源模組來快速用網路攝影機來開發動作捕捉功能,可用於體感互動作品的開發。
Ted Liou 2025.04.22 動作辨識

StreamDiffusion 如何修復 Hugging Face Hub 的 cached_download 匯入錯誤?

近期在研究 StreamDiffusion,發現在 Python 3.10 中執行時會出現「ImportError: cannot import name ‘cached_download’ from ‘huggingface_hub’」錯誤,導致無法下載模型。查資料後得知是因為 Hugging Face 的破壞性變更棄用了 …
Ted Liou 2025.03.26 StreamDiffusion

TouchDesigner 如何讓多部影片自動接續播放?

收到學長來信,有一需求是要在 TouchDesigner 中,讓 3 部影片分別在播放結束時會切換到下一部,並且在 3 部都播完時自動重新從第一部開始重播。在這個案例中,我們主要會用到 Movie FIle In、Info、Switch 與 CHOP Execute 這 4 個節點,同時需要寫一些 Python 程式來快速實作。
Ted Liou 2025.03.23 TouchDesigner

TouchDesigner 如何用 MediaPipe 做臉部、骨架與手勢辨識?

MediaPipe 是一個由 Google 開發的開源軟體框架,專門用於開發透過影像分析現實物件的電腦視覺技術,辨識範圍包括:人臉表情、肢體骨架、手勢。這個框架同時支援 Windows、macOS、Linux 等多種平台與 Python、C++ 等程式語言,而 TouchDesigner 社群先前已釋出 MediaPipe Plugin,讓創作者不用學程式語言也可以輕易的應用 MediaPipe!
Ted Liou 2025.03.06 TouchDesigner

YOLO11 如何透過 Webcam 即時辨識骨架並傳送座標到 Unity?

YOLO 可以透過 Webcam 來即時擷取分析我們的人體骨架,今天要來教大家如何擷取頭的中心座標 (鼻子),並經由 UDP 網路連線傳輸到 Unity 之中。
Ted Liou 2025.01.16 動作辨識

Unity 6 如何用 NDI 接收 TouchDesigner 影像?

KlakSpout 目前無法在新版 Unity 上運作,我們可以改用 KlakNDI 來取代 Syphon/Spout 的影像傳輸功能,是一種犧牲效能來換取相容性的作法。
Ted Liou 2024.12.02 TouchDesigner