Pixar memiliki masalah. Itu memiliki ide baru yang bagus untuk sebuah movie—Elementalberdasarkan karakter dari Dinosaurus Baik sutradara Peter Sohn—namun sebenarnya menganimasikan elemen tituler movie terbukti menjadi masalah. Lagi pula, menggambar gundukan kotoran hidup yang runtuh adalah satu hal, tetapi bagaimana Anda menangkap sifat halus api di layar, dan bagaimana tubuh jasmani yang terbuat dari air bahkan bekerja? Dapatkah Anda melihat melalui itu? Apakah mata hanya melayang-layang?

Sementara beberapa dari pertanyaan itu dapat dijawab dengan penangguhan ketidakpercayaan kuno yang baik, animator Pixar menganggap masalah kebakaran adalah teka-teki yang nyata, terutama mengingat salah satu pemeran utama movie mereka, Ember, sebenarnya seharusnya terbuat dari barang-barang itu. Mereka memiliki alat untuk membuat efek api dari tahun-tahun animasi sebelumnya, tetapi ketika Anda benar-benar mencoba membentuknya menjadi karakter, hasilnya cukup menakutkan, persilangan antara Calcifer dari Studio Ghibli dan Ghost Rider dari Nicolas Cage, tetapi entah bagaimana lebih keras.

“Simulasi cairan api kami sangat naturalistik dan dirancang untuk meniru kenyataan,” kata supervisor VFX Sanjay Bakshi. Dengan karakter seperti Ember, kata Bakshi, “sangat penting untuk berkonsentrasi pada penampilan wajah,” tetapi studio kesulitan menyeimbangkan dinamisme api dengan bentuk dan kepekaan karakter. Paul Kanyuk, pengawas teknis kerumunan di Pixar, mengatakan bahwa pada awalnya, Ember tampak seperti hantu atau bahkan setan. “Ini bisa terlihat mengerikan jika terlalu realistis, seperti Anda benar-benar memiliki sosok manusia yang terbuat dari pyro asli,” jelasnya.

Bahkan jika Anda bisa menghilangkan yang menakutkan, kata Sohn, Anda masih harus membuat sesuatu yang dapat dikenali dengan berapi-api. “Api secara alami sangat sibuk, tetapi jika Anda memperlambatnya, itu bisa berubah menjadi sesuatu yang terlihat seperti plasma,” jelasnya. “Sangat menarik untuk membandingkannya dengan karakter antropomorfis lainnya, karena semuanya sangat fantastik dan Anda dapat melakukan apa saja dengan mereka. Jika Anda menggambar emosi, tidak ada satu lawan satu, tetapi semua orang tahu seperti apa api itu.”

Pada dasarnya, Sohn menjelaskan, untuk membuat Ember, setiap bidikan Elemental akan membutuhkan cross efek, sesuatu yang tidak hanya sangat memakan waktu, tetapi juga sangat mahal.

Untungnya, Kanyuk punya ide. Dia telah mengerjakan animasi kerumunan di Pixar sejak 2005, dimulai dengan Ratatouille, dan selalu berjuang dengan cara untuk membuat pakaian di kelompok besar orang terlihat benar. Saat mencoba memecahkan masalah, dia terlibat dengan Affiliation for Computing Equipment’s Signgraph, sebuah organisasi komunitas yang mengabdikan diri pada kemajuan grafis komputer. Sekitar tahun 2016, dia menemukan beberapa penelitian kelompok tentang penggunaan pembelajaran mesin untuk mengasah simulasi kain dan sejak saat itu mencoba untuk menguasainya.

Elemental memberinya kesempatan untuk menerapkan apa yang dia pelajari.

Sekitar tahun 2019, Kanyuk menemukan makalah dari Siggraph Asia tentang penggunaan neural fashion switch (NST)—jenis kecerdasan buatan yang digunakan untuk membuat foto terlihat seperti Van Gogh atau Picasso—untuk menggerakkan voxel (pada dasarnya piksel 3D, dengan quantity) di sekitar animasi, semuanya dengan tujuan memberikan tampilan tertentu pada karakter. Kanyuk mengira NST dapat membantu Pixar menguasai masalah apinya, meskipun dia memberi tahu Sohn (yang juga menandatangani kontrak untuk mengarahkan movie tersebut) bahwa, seperti banyak pembelajaran mesin, hanya ada sekitar 50 persen kemungkinan itu akan berhasil. “Saya berkata, ‘Saya akan memberi Anda lima ide, dan mungkin dua di antaranya akan berhasil.’ Tapi dia berkata, ‘Ayo lakukan semuanya,’” kata Kanyuk.

Kanyuk meminta bantuan Disney Analysis Studios, yang pernah bekerja sama dengan Pixar sebelumnya Cerita mainan 4. Laboratorium, yang berbasis di Zurich, mengkhususkan diri dalam meneliti bagaimana AI dan pembelajaran mesin dapat melakukan hal-hal seperti membuat aktor tampak lebih tua atau lebih muda, atau cara terbaik menciptakan kembali kualitas kulit seseorang. “Banyak dari kami tidak melakukan pembelajaran mesin sampai mulai menjadi umum baru-baru ini, jadi kami telah belajar sambil bekerja,” kata Kanyuk, “sedangkan penelitian yang keluar dari lab Disney—mereka hidup dan menghirup hal-hal ini.”

Dia mulai bertemu secara teratur dengan tim Analysis Studios dan akhirnya mereka memecahkan masalah, merekrut seorang seniman Pixar bernama Jonathan Hoffman untuk menggambar satu set api yang berputar-putar, runcing, dan hampir seperti kartun yang oleh tim dijuluki “fleur-de-lis.” NST dapat menggabungkannya dengan api blobbier dari simulasi asli dan—bam—Anda mendapatkan gerakan dan intensitas api yang ditempa hanya dengan sedikit kontrol dan gaya Pixar.