Lalka Poszerzona: wykorzystanie technologii 3D w praktyce lalkarskiej

PRAKTYKA LALKARSKA

Od początku XXI wieku technologia staje się coraz bardziej dostępna. Obecnie możemy obserwować rosnący trend wykorzystywania na scenie różnych technologii cyfrowych – ramion robotycznych, wirtualnej rzeczywistości, interaktywnych projekcji itd. W poniższym artykule skupię się na przykładach z własnej praktyki, w których przedstawię potencjalne zastosowanie technologii 3D (skanowanie 3D, modelowanie i animacja) w lalkarstwie. Skoncentruję się na ich wykorzystaniu w reżyserii oraz praktyce lalkarskiej.

NOWE PODEJŚCIA DO STEROWANIA LALKĄ

W semestrze zimowym 2021 roku prowadziłem seminarium dla studentów Wydziału Lalkarskiego Akademii Sztuk Performatywnych w Bratysławie. Naszym celem było eksperymentowanie i odkrywanie nowych możliwości sterowania lalką z wykorzystaniem technologii interaktywnych i 3D. Grupę stanowili głównie studenci lalkarstwa, mniejszość stanowili studenci technologii lalkarskiej i scenografii. W pracy z grupą o takim składzie bardziej efektywne jest podejście aktywne, tzw. „hands-on”, zamiast prowadzenia długich dyskusji koncepcyjnych. Praca z technologiami interaktywnymi okazała się bardzo motywująca i inspirująca dla uczestników, ponieważ zapewniała natychmiastową reakcję na ich działania.

Pracowaliśmy z płytką rozwojową Makey-Makey, sterowaną przez procesor ATMega32u4. Jest to urządzenie pełniące funkcję programowalnego mikrokontrolera, który może kontrolować przepływ prądu w obwodzie. Zaletą wybranego mikrokontrolera jest to, że ma już wbudowane wszystkie niezbędne rezystory i inne elementy elektryczne, dzięki czemu nie wymaga lutowania. Posiada również zaprogramowane wyjścia umożliwiające sterowanie poszczególnymi klawiszami klawiatury komputera. Jego największą zaletą jest dostępność – jest gotowy do natychmiastowego użycia i nie wymaga wcześniejszego programowania, jak w przypadku innych modeli mikrokontrolerów Arduino.

Wspólnie tworzyliśmy proste obwody elektryczne, do których podłączaliśmy także przedmioty codziennego użytku będące dobrymi przewodnikami prądu, takie jak jabłko czy folia aluminiowa. Mikrokontroler Makey-Makey pracuje przy maksymalnym napięciu 5V, a więc nie stwarza żadnego zagrożenia.

Oprócz poziomu interaktywnego eksperymentowaliśmy również z integracją dźwięku. Naszym celem było uruchamianie dźwięku lub nagrania z komputera po dotknięciu konkretnego obiektu. W programie Ableton Live przypisaliśmy poszczególne klawisze klawiatury do konkretnych dźwięków. W ten sposób realny przedmiot podłączony do obwodu elektrycznego stawał się wirtualnie klawiszem komputera. Ciała studentów również stopniowo włączano do tego układu, ponieważ aby obwód został zamknięty i działał, musieli się oni dotykać, łącząc przestrzeń fizyczną i cyfrową. Podkreśliło to interaktywny i immersyjny potencjał technologii cyfrowych w pracy scenicznej, wykraczający poza zwykłe naciskanie przycisków i przełączanie przełączników.

Zaczęliśmy od przypisania klawiszy komputerowych do klawiszy fortepianu. Następnie grupa próbowała „grać” na fortepianie. Później zastąpiliśmy instrument muzyczny nagranymi fragmentami ulubionych tekstów, które uczestnicy seminarium wybrali wcześniej. Możliwe było miksowanie poszczególnych nagrań w czasie rzeczywistym, tworząc w ten sposób spersonalizowany DJ-set.

Dzięki dużemu entuzjazmowi grupy kontynuowaliśmy pracę z tą technologią i później dodaliśmy warstwę wizualną. Przy konfiguracji podobnej do DJ-setu grupa sterowała pędzlem w programie Microsoft Paint. Każda osoba była ograniczona do jednej funkcji pędzla – na przykład przesuwania go na boki czy kontaktu z powierzchnią. Informacja zwrotna w czasie rzeczywistym oraz konieczność współpracy zamieniły ćwiczenie w coś na kształt gry. Grupa zaczęła spontanicznie wyznaczać sobie cele, np. „namalowanie domu”. Następnie ustalano, z jakich elementów składa się dom (np. kwadrat i prostokąt), dzielono zadanie na kroki i planowano wykonanie. W ten sposób uczestnicy intuicyjnie naśladowali procesy programistyczne – dzielenie zadania na mniejsze części i precyzyjne planowanie kolejnych kroków. W trakcie tego procesu pojawiła się naturalna harmonia między tym, co techniczne, a tym, co performatywne.

W kolejnym ćwiczeniu tworzyliśmy skany 3D naszych głów przy użyciu sensora Kinect v1 oraz programu Skanect. Korzystając z techniki fotogrametrii, stworzyliśmy modele 3D uczestników. „Fotogrametria obejmuje metody pomiaru i interpretacji obrazu w celu określenia kształtu i położenia obiektu na podstawie jednego lub więcej zdjęć…”[1] Metoda ta jest bardzo przydatna w praktyce lalkarskiej, ponieważ umożliwia przeniesienie fizycznych obiektów do przestrzeni cyfrowej, co pozwala na dalszą pracę z danymi i tworzenie animacji, a nawet ich animowanie w czasie rzeczywistym – co planujemy zbadać w kolejnym projekcie.

Do skanów 3D stworzyłem modele ciała w programach Houdini SideFX, Maxon Cinema 4D i MakeHuman, które zastosowałem do każdego skanu. W pierwszej fazie eksperymentów skupiliśmy się na tworzeniu własnej animacji na podstawie jednego z uczestników. Wykorzystaliśmy do tego bazę animacji Mixamo, która automatycznie tworzy tzw. rigg – szkielet umożliwiający animowanie postaci. Zadaniem uczestników było znalezienie kilku animacji i zapoznanie się z możliwościami pracy z materiałem cyfrowym.

Następnie pojawiło się pytanie o potencjał postdramatyczny postaci 3D. Czy sposoby opowiadania historii zmieniają się przy pracy z obrazem wirtualnym? Przygotowałem dziewięć obrazów przedstawiających jedną postać 3D w różnych pozach. Zadaniem było stworzenie storyboardu i nagranie ścieżki dźwiękowej. Ćwiczenie pokazało, jak inspirująca jest praca z materiałem wirtualnym. Początkowo uczestnicy przygotowywali zarys historii, ale później przeszli do improwizacji, tworząc krótkie scenki.

Planowaliśmy kontynuację pracy z animacją w czasie rzeczywistym przy użyciu Kinect v2 i TouchDesigner, jednak pandemia uniemożliwiła dalsze spotkania.

Nasze podejście miało charakter eksperymentalny, co pozwoliło na swobodną eksplorację potencjału technologii cyfrowych w lalkarstwie. Oba kierunki badań okazały się bardzo obiecujące. Warto wspomnieć, że podobne zagadnienia badał projekt Future Lab teatru Schubert w Wiedniu.

TECHNOLOGIE W PRAKTYCE LALKARSKIEJ

Projekt Distance–Dissonance badał granice interaktywnego kostiumu oraz zastosowanie programowalnych elementów w jego strukturze. Obiekt wyposażony był w czujniki ultradźwiękowe. Skupiliśmy się na trzech aspektach: haptycznym, dźwiękowym i performatywnym.

Pracowaliśmy z dotykiem na różnych poziomach. Na początku zastosowaliśmy robota kulkowego na materiale tekstylnym, który poruszał się swobodnie, wyznaczając trajektorie. Następnie wzmocniliśmy strukturę drutem, nadając jej płynną formę. Powstały różne powierzchnie dotykowe. Dodatkowo do aktywacji systemu potrzebny był dotyk człowieka.

Czujniki przetwarzały odległość na dźwięki o różnych częstotliwościach. Badaliśmy relację między tekstyliami a dźwiękiem. Czy ubranie może „słyszeć”? Czy czujniki mogą rozszerzać nasze zmysły?

Istotny był też aspekt performatywny – widz stawał się performerem, zakładając kostium i generując dźwięk poprzez ruch. Projekt łączył performans, sound design, sztukę cyfrową i druk 3D.

Choć była to instalacja, jej elementy można przenieść do teatru. Połączenie tekstyliów i elektroniki daje ogromne możliwości kontroli dla lalkarza.

PUPPET AUGMENTED – SKĄD SIĘ WYŁANIA?

„Puppet Augmented” to termin opisujący lalki łączące świat fizyczny i wirtualny. Opiera się na rozszerzonej rzeczywistości (AR).

AR polega na łączeniu świata realnego z generowanym komputerowo w czasie rzeczywistym.[2]

Podobieństwa do lalkarstwa są wyraźne: interakcja w czasie rzeczywistym, połączenie świata fizycznego i wirtualnego oraz zależność od przestrzeni.

W naszym przypadku skany 3D stały się wirtualnymi lalkami. Technologie cyfrowe rozszerzają możliwości animacji i myślenia o lalkarstwie.

Świat „puppet augmented” to wciąż w dużej mierze terra incognita.

Odkrywajmy więc nowe światy!