Ruttkay Zsófia 2009-ben Hollandiából, informatikusi, számítógépes grafikai PhD-vel és kutató múlttal került a Moholy-Nagy Művészeti Egyetemre, ahol elindította a Kreatív Technológia Labort. Már az első félévtől kereste az interdiszciplináris kapcsolatokat, hogy a tervezőművész hallgatók megismerjék a legújabb technológiák által biztosított lehetőségeket. Az informatikai és művészeti képzéseken tanuló hallgatók közös kurzusokon vehetnek részt, az ötletekből interaktív alkalmazások és könyvek prototípusai születnek meg. Néhány projekt pedig a teljes megvalósulásig is eljut, például a Bajor Gizi Színészmúzeummal közös vállalkozásuk, a Bors néni című interaktív énekes lapozó.

PRAE.HU: Mit jelent pontosan az interaktív könyv?

Ruttkay Zsófia: Tágabb értelemben interaktív könyvek évszázadok óta léteznek, mert a kihajtogatható könyvek is ide tartoznak. Egyesek azt mondják, hogy ha valaki a margóra jegyzeteket ír, már akkor interakciót hajt végre. Ezzel szemben én úgy definiálnám, hogy az interaktív könyv esetében az én akciómnak a narrációt befolyásoló hatása is van. Az interaktív könyv fogalom sokaknak az e-bookot, az érintőképernyőt hozza elő, de ennél sokkal több technológiai lehetőség van, ahogyan például a Bors néni énekes lapozó is mutatja. A megkülönböztetés érdekében időnként kibővített valóságról beszélünk. A Bors néni esetben a valóság a könyv, amelyet a hanggal bővítünk tovább. Aztán ott vannak azok a könyvek, amelyeket markerekkel látnak el, a kamera ezeket felismeri, és elindul egy videó, megjelenik egy honlap vagy animált 3D tartalom. Mi is használtuk ezt a technológiát is egy éve hallgatókkal, melynek eredményeként interaktív fotóalbum és az angol betűzést segítő alkalmazás született. A Művészetek Palotájában egy Liszt Ferenc-kézirat másolatán például ki is lehet próbálni: a kotta lapjaiba láthatatlan jelzőket applikáltunk, ami a szem számára teljesen észrevehetetlen, de a lapozás során egy rádiós jeleket olvasó – ugyancsak rejtett – eszköz beolvassa a markereket. Az érzékelő tudja, hogy melyik lapon járunk, és a szoftvernek köszönhetően a Liszt-kézirat megszólal az adott helyen, éppen ott, ahol a kotta nyitva van.

PRAE.HU: A tanárok és a szülők részéről mégis érezhető az idegenkedés, szkepticizmus az interaktív alkalmazások iránt, és többször megfogalmazzák azt az aggodalmat is, hogy az alkalmazások csak még inkább a kütyükhöz, a monitorhoz kötik a gyerekeket. Jogosak a félelmek?

Kétségtelen, hogy az olvasás olyan készségeket fejleszt (a fantáziát például), amelyek ellen dolgozik talán, ha egy mozgó, ráadásul befolyásolható vizuális tartalom is van a szöveg mellett. Ebből a szempontból jogosak a félelmek és kritikák, de úgy érzem, a sommás ítéletek mögött a lehetőségek nem ismerése áll. Ezek az alkalmazások ugyanis semmiképpen sem akarják helyettesíteni a hagyományos könyvolvasást, hanem bizonyos célcsoportoknak konkrét céllal olyan eszközöket nyújtanak, amire a hagyományos könyv nem képes. Például sajátos élmény a Liszt-kéziratot az ujjunkkal követni, miközben látjuk, Liszt hol tett javításokat, milyen lépések vezettek a végeredményhez. Mind élményben, mind információban mást jelent tehát, mint egy nyomtatott, végleges kotta. Egy bristoli társaságnak néhány éve indult az a projektje, amely keretében a matematika tanításához kis vizuális elemekkel fűszerezett gyakorló feladatokat generáltak a gyerekek igényei szerint, vonzóbb formában, mint amilyen általában egy papírra felírt műveletsorozat. Nyilván egy jó pedagógus rögtön felismeri, mi nehéz a gyereknek az adott tananyagból, mennyire terhelhető éppen a gyakorlással, és milyen feladatokkal jutnak eredményre. Az interaktív alkalmazások azért nagyon hasznosak, mert nem mindenkinek jut egy ilyen remek tanítónő, és ha van egy jól felépített alkalmazás a szülő telefonján, amit nézegethet a gyerek például az autó hátsó ülésén utazás közben, az óriási nyereség lehet. Mindenképpen hangsúlyozni kell, hogy nem véletlenül táblagépekről és mobilokról, nem pedig laptopokról beszélünk az interaktív alkalmazások esetében. Ezekkel a kütyükkel be lehet kucorodni egy fotelbe, az ágyba, lehet cipelni őket, és nem csak egyedül: a szülő a gyerekkel együtt fedezheti fel, mi mindent lehet tenni egy interaktív könyvvel. A nemzetközi TERENCE EU projekt, amelyben a laborunk a tizenkét partner egyikeként a vizualitásért és egyes játékok tervezéséért felelős, olyan kutatás-fejlesztés, melynek célja egy adaptív, a szövegértést segítő rendszer megalkotása 9-12 éves gyerekek számára. A gyerek szövegértését egy-egy kifejezetten a projekt számára írt történet elolvasása után játékokkal ellenőrzi a rendszer, és a további olvasnivalót az eredmény fényében kínálja fel.

PRAE.HU: Ha egy kiadó eldönti, hogy interaktív könyvet szeretne, hogyan épülnek fel a munka fázisai?

A nulladik lépés, hogy tudja, miért is akar interaktív könyvet csinálni. Nem érdemes ugyanis mindenből interaktív verziót létrehozni. Egy interaktív könyv lehetőségeket ad, de tudni kell, mit akarunk elérni. A legáltalánosabb cél, hogy játékos módon az olvasásra vagy kortárs költészetre szoktassa a gyerekeket. Ugyanakkor megint hangsúlyozom, hogy az invenciózus és jól felkészült tanítónők is csodákat tesznek e téren, ha vannak. A következő lépés, hogy írjunk storyboardot, képzeljük el, milyen interakciókat szeretnénk, azoknak milyen funkciót szánunk. Amerikában rengeteg interaktív könyv van piacon, de a nagy részük öncélú lehetőségeket tartalmaz csak: például, ha megérintek tárgyakat, akkor vicces dolgok történnek. Kevés az olyan interaktív könyv, ahol a képet mozgató akciók a narratíva részei lesznek. Mondjuk meg kell keresni egy kulcsot, addig nem lapozódik a történet, de ha a gyerek megtalálta, ő nyithatja az ajtót, amin belépve folytatódik a mese. A vizuális rész itt aláhúzza a narratívát, ellenőrzi, hogy a gyerek megértette-e a történetet. De lehet készíteni olyan kifejezetten készségfejlesztő alkalmazást is, mint a TERENCE-projekt esetében, ahol a történetek olvasása váltakozik az ún. okos játékokkal. A storyboard után egy jó interakciós terv és egy informatikus megbízása következik. Fontos, hogy már a munka során, még a prototípus elkészülése előtt a gyerekeken is teszteljük, hogy az alkalmazott interakciós gesztus megy-e, vagy a komplex, nem lineáris narráció követhető-e a célcsoport számára.



PRAE.HU: Hogyan lehet elkerülni az öncélú interaktív alkalmazásokat? Mit lehet tanácsolni a szülőknek, mi alapján válasszanak?

Egy új eszközről, tároló formáról van szó, nincsenek mérhető adatok, ma még mindenki kicsit a sötétségbe lő és reméli, hogy ő lesz az, aki ezt az óriási jövőbeli piacot meghódíthatja. A kognitív pszichológusokat nagyon érdekli, hogy a generációk olvasási szokásait hogyan befolyásolja ez az új médium, de egyelőre nincsenek állítások. Ezért azt tanácsolnám, hogy ha lehet, próbáljuk ki az adott alkalmazást. De sok anyag elérhető interneten is az interaktív könyvekről, videókat tesznek fel, más szülők, könyvtárosok osztják meg tapasztalataikat a főleg angol nyelvű blogokon. Az egyik nekem legjobban tetsző interaktív könyv a The Heart and the Bottle, ami arra jó példa, milyen gyönyörű az illusztráció, milyen mértékkel és változatosan, leleménnyel használják az interakciót. A gyerek például rajzol egy virágot és a következő jelenetben az a virág bekerül egy keretbe képként a szoba falára. Technológiai szempontból az Alíz Csodaországban is érdekes, ami a régi, papír alapú interaktív könyv metaforáit használja, és nem csak az érintés modalitásával számol, hanem rázni is lehet, amitől például tárgyak csúsznak le az asztalról.

PRAE.HU: Milyen munka folyik a MOME Kreatív Technológia Laborban, milyen feladatokat látnak el?

Érdekes formáció, ugyanis egy hagyományosan kézműves, a tervezésben nagy múltú egyetemen alakult meg egy éve formálisan is, a MOME Média Intézet önálló egységeként. A labor célja kettős. Részben a mai digitalizáló világban a technológiát – amely nem csak az érintőképernyőt és a digitális tárolást, hanem újfajta interakciós, kommunikációs lehetőségeket is jelent – teszi elérhetővé az érdeklődő tervezőművész hallgatók számára. Megmutatja, hogy a legújabb médiumok, mint az okostelefonok vagy a táblagépek és szenzorok, milyen újfajta alkalmazásokat tesznek lehetővé (többek között az interaktív könyvet is). Részben pedig célunk, hogy az egyetemen legyen interdiszciplináris felülete a technológiai kutatásnak és alkalmazások fejlesztésének.



PRAE.HU: Hogyan hasznosíthatja egy illusztrátor, animátor vagy tervező a matematikai, programozói ismereteket is adó kurzusokat?

A Média Intézetben négyféle képzés folyik: fotó, tervezőgrafika, médiadizájn és animáció, mindegyik elérhető alap- és mesterképzés szintjén is. Az akkreditált tematika nagyon sűrű. A szakos tantervekben szerepelnek digitális technológia jellegű tantárgyak, de azt nem lehet feltételezni, hogy egy-egy olyan szakon, ahol többek között a képalkotás, a vizuális kultúra, a hanghasználat is szerepel a tantervben, ott a hallgatók megtanuljanak olyan szinten programozni, hogy önállóan is képesek legyenek kódolva alkotni. Természetesen vannak olyan hallgatók, akik már eleve megfertőződve jönnek a MOME-re, és fogékonyabbak erre a plusz tudásra, közülük egy-kettő el is mélyül benne. Mások gondolkodásától viszont nagyon idegen. Az általános cél, hogyha érdeklik a technológiai lehetőségek a hallgatókat, akkor kellő képet kapjanak erről az egyetemi képzésben, és később tudják, egy projekt kapcsán hová forduljanak, és tudjanak szót érteni az informatikusokkal. Ezen felül a labor plusz lehetőségeket nyújt, mind a gyorsan fejlődő technológiák spektrumát, mind az elmélyülés szintjét illetőleg.

PRAE.HU: Ki mit profitál ebből az együttműködésből?

Az interaktív vagy számítógépes projektek esetében mindenki látni, sőt megtapasztalni akarja az eredményt, mert ezt nehéz leírás, elmondás alapján elképzelni. A prototípus, a kipróbálható élmény mindennél többet mond. Az informatikusokkal való együttműködés segít feloldani azt az ellentmondást, hogy bár a hallgatókat nem tudjuk felkészíteni arra, hogy maguk képesek legyenek előállítani a prototípust, mégis lássák a terveik megvalósulását. Ezért az interdiszciplináris projektekre csapatokká állnak össze, ahol menedzserszakos, vizuális hátterű és informatikaszakos hallgatók dolgoznak együtt. Az informatikai képzések esetében – amelyet nagyon jól ismerek, és ezért meggyőződve mondhatom hollandiai tapasztalataim alapján is – az esztétikai érzék és időnként a kreativitás hiánya szinte meggátolja azt, hogy a hallgatók inspiráló projektekben hasznosítsák saját tudásukat és készségeiket. Nagyon gyorsan, hatékonyan programoznak, a legkorszerűbb technikákat is ismerik, de az, hogy kitaláljanak egy vonzó interaktív alkalmazást, sok informatikus számára legalább annyira nehéz, mint egy MOME-s hallgatónak a programozás. Mindkét fél keresi a másik felét, és a világban már nagyon sok példa bizonyítja, hogy ha ez a két társaság szót ért egymással, akkor új minőséget tudnak teremteni.



PRAE.HU: És könnyen szót értenek egymással?

Könnyűnek semmiképpen nem lehet mondani, már az alkalmazások szintjén sem. Előfordult, hogy a MOME-s hallgatók líraibb, művészibb, nem közvetlenül hasznos, de áttételesen mégiscsak nagyon érdekes és vonzó alkalmazásait megmosolyogták az informatikusok. Az itteni hallgatók pedig nehezen értik meg a különböző eszközök, szoftverek mechanizmusait, határait, hogy nem mindig lehet megvalósítani mindent úgy, ahogyan elképzelik.

PRAE.HU: Mi jelenti a nehézséget általában az interaktív alkalmazások fejlesztésekor?

Mindig az, hogy egy szokatlan, nem begyakorolt médiumra tervezünk. Ellentétben a könyvvel, amiről már számos tapasztalatunk van, és tudjuk, ismerjük, hogy korosztályonként milyen feladatok, betűtípusok, témák, modellek működnek. Az interaktív könyvek esetében még nem állnak rendelkezésre modellek. A táblagépek is csak néhány éve léteznek, az egész szakma – külföldön is – múlt nélkül, kevés felhasználói tapasztalatra hagyatkozva próbál fejleszteni.

PRAE.HU: A Bors néni daloskönyv például nagy kihívást jelentett?

Nem, ez egy könnyű eset volt, mert élesen elvált a két feladat egymástól. Az ötletet – hogy legyen egy olyan énekeskönyv, amit ha lapozgatnak a gyerekek, a képeket felismerő webkamera segítségével megszólal a zene – külön-külön egyik csapat sem tudná megvalósítani. A szoftver megjegyez tíz-tizenkét képet, és ha azok kellő mértékben különböznek, fel tudja ismerni akár rossz világítási körülmények között, részlegesen látva is, és elindítja a hozzájuk rendelt hangfájlt. Eddig a pontig a feladatok nagyon jól értelmezhetőek, követhetőek voltak: a MOME-s hallgató megrajzolta az illusztrációkat, az informatikus pedig a képeket hozzárendelte a programhoz és tesztelte, hogy azokat jól meg lehet különböztetni gépi látás útján. De a projekt továbbgondolása már meglehetősen nehéznek bizonyult. Amikor már nem egy könyvre nyomtatva használták az illusztrációt, hanem flash animációként, mozgó képekkel, előjöttek a meglepetések. Egy kinectes alkalmazást is készítettek a hallgatók, azzal a céllal, hogy a gyerekek kézzel mozgassák meg a kivetített illusztrációt, és teljesítsenek egy-egy feladatokat ahhoz, hogy a következő dal elinduljon. Ehhez már nagyon sokféle egyeztetés kellett az interaktív illusztrációt tervező animátor, a flash animációt megvalósító programozó és a kinectes gesztusfelismerést végző informatikus hallgató között. Amikor a prototípust gyerekekkel kipróbáltuk, jó pár olyan tapasztalatra tettünk szert, ami mind a három résztvevő területét érinti valahogyan. Például kiderült, hogy milyen nehéz virtuálisan megragadni valamit a képen, vagy az éles használat mutatta meg, hogy amíg az ember két percig kipróbálja a játékot, le van nyűgözve, de tizenöt perc alatt nagyon elfárad a jobb keze.

Kattints a képre!

PRAE.HU: A MOME 2009-ben nyitott az ilyen irányú interdiszciplináris projektek felé. Ez időben történt, vagy érezhető valamilyen lemaradás más országokhoz képest a technológia és a művészet ötvözése terén?

A MOME jó irányba nyit, az elhatározást a névváltozás is jelzi. 2005-ben vette fel Moholy-Nagy László nevét, aki a maga korában éppen olyan progresszív volt, mint ma azok, akik interaktív könyvet készítenek táblagépre. Moholy-Nagy a fotográfia és tipográfia határait feszegette, a fotográfia mint nem reprodukciós médium lehetőségeit kereste. A nyitás idejét tekintve a MOME jól áll, ugyanakkor több európai egyetemen a megvalósítás szervezettebb formában, nagyobb múlttal történik. Vannak például olyan egyetemek, ahová eleve vegyes területekről vesznek fel hallgatókat a mesterképzésre, máshol a művészeti karok szervezetileg kerültek közelebb az informatikához. A Kreatív Technológia Laborhoz hasonló műhelyek pedig már öt-hat éve gombamód szaporodnak egész Európában.

PRAE.HU: A magyar felsőoktatás rendszerében nehéz összehozni az informatikusok és a MOME hallgatók projektjeit?

Az elmúlt két félévben szerveztünk először nagyobb számban olyan projekteket, amelyek összesen több tíz hallgatót mozgattak, induláskor még csak az ELTE Informatika Karával, de most már több más egyetem is érdeklődik. Egy csomó nehézséget kell áthidalni, kezdve a földrajzi távolságtól a tanévbeosztás különbségein át a számonkérés eltérő hagyományáig és formájáig. De azt tapasztalatból mondhatom, hogy ha a projektben résztvevő hallgatók motiváltak, érdekli őket, amire szövetkeztek, akkor a kommunikációs és logisztikai problémák megoldódnak.

PRAE.HU: Mit várnak az együttműködéstől? Mi a konkrét cél, amit el akarnak érni az interdiszciplináris kurzusokkal?

Elvárásokról, távlati tervekről most, amikor még sok egyetem nem látja a jövőjét sem anyagilag, sem szervezetileg, nem igazán érdemes beszélni. Amit biztosan érzékelünk, hogy a hallgatók részéről nagy az érdeklődés az ilyen képzés iránt, mert aki digitális technikával dolgozik, annak a földrajzi hollét nem akadály később a munkavállalás során. Egyre több, gyönyörű munkákkal megjelenő három-hat fős csoport válik híressé, akik például Berlinbe, Ljubljanába vagy New Yorkba szétszórva dolgoznak közös projekteken, amelyeket a világ minden részéről rendelnek tőlük. Ez a médium megnyitja a lehetőségeket a nemzetközi együttműködésre, de nagyon jó szakembernek és a nemzetközi fórumokon láthatónak kell lenni ahhoz, hogy ez létrejöjjön és működjön.

PRAE.HU: Mire elég egy MOME-s félév?

Eddig kifejezetten interaktív könyvhöz kapcsolódó kurzus nem is volt, majd most ősszel indítunk egyet. Ha egy kurzus csak egy irányban ad információkat, sok mindent bele lehet szuszakolni, de ilyenkor a diák csak ül és hallgat. Noha ez könnyebb műfaj a tanár számára és valószínűleg a kreditszerző diákoknak is, talán nem igazán hasznos és érdekes: az inputra állított hallgatónak nincs tere a kreativitásra. Míg ha azt mondjuk, hogy hozzanak egy könyvszerű dolgot, amiben kevésnek érzik a lapozós nézegetést, és mondják el, mivel tudnák azt kiegészíteni – személyes annotációval, zenei aláfestéssel, a képek mozgatásával vagy 3D-s modellel – ez sokkal motiválóbb és hasznosabb tevékenység. Hogy aztán egy ötlet meddig jut el kilenc-tizenegy foglalkozás alatt, függ a csapattól és az eszközök, az forrásanyagok hozzáférhetőségétől is.

PRAE.HU: Mi volt az, ami a tervnél messzebbre jutott?

A Bors néni például egy fél éves projekt eredménye. Ha minden összejön, akkor általában a prototípusig eljutnak az ötletek. De hogy üzembiztos, komplex alkalmazás szülessen, az további egy-két félév munkáját jelentené. Én azt szeretném, ha megvalósulhatna az, hogy azok a hallgatók, akiket érdekelnek az ilyen technológiák, több féléven át akár különböző keretek között (mester-, DLA-munkaként, vagy ha végeznek, egy-két évig a labor holdudvarában) dolgozhassanak a projekteken.