Formulated as a conditional generation problem, face animation aims at synthesizing continuous face images from a single source image driven by a set of conditional face motion. Previous works mainly model the face motion as conditions with 1D or 2D representation (e.g., action units, emotion codes, landmark), which often leads to low-quality results in some complicated scenarios such as continuous generation and large-pose transformation. To tackle this problem, the conditions are supposed to meet two requirements, i.e., motion information preserving and geometric continuity. To this end, we propose a novel representation based on a 3D geometric flow, termed facial flow, to represent the natural motion of the human face at any pose. Compared with other previous conditions, the proposed facial flow well controls the continuous changes to the face. After that, in order to utilize the facial flow for face editing, we build a synthesis framework generating continuous images with conditional facial flows. To fully take advantage of the motion information of facial flows, a hierarchical conditional framework is designed to combine the extracted multi-scale appearance features from images and motion features from flows in a hierarchical manner. The framework then decodes multiple fused features back to images progressively. Experimental results demonstrate the effectiveness of our method compared to other state-of-the-art methods.

Recent advances in artificial intelligence-generated content (AIGC) have led to the rapid generation of high-quality images. AIGC has attracted the attention of commercial digital art asset creators. Traditional artist-led processes contrast with current AI tools that often reduce creators to passive roles. This study examines the integration of AI image generation into commercial digital art, emphasizing the importance of preserving creators' creative autonomy. Our formative study (S1) involved interviews with commercial digital art creators, highlighting a need for greater control and transparency in AI-assisted painting. In response, we developed RealtimeGen, an integrated tool that merges human creativity with AI's capabilities, allowing creators to intervene in the generative process. A user study (S2) comparing RealtimeGen with the popular AIGC tool Stable Diffusion was also carried out. The results showed its enhanced user experience and workflow compatibility. Our work contributes to understanding and improving AI-assisted painting workflows for commercial creators, offering them greater creative agency.

The advent of large models, also known as foundation models, has significantly transformed the AI research landscape, with models like Segment Anything (SAM) achieving notable success in diverse image segmentation scenarios. Despite its advancements, SAM encountered limitations in handling some complex low-level segmentation tasks like camouflaged object and medical imaging. In response, in 2023, we introduced SAM-Adapter, which demonstrated improved performance on these challenging tasks. Now, with the release of Segment Anything 2 (SAM2), a successor with enhanced architecture and a larger training corpus, we reassess these challenges. This paper introduces SAM2-Adapter, the first adapter designed to overcome the persistent limitations observed in SAM2 and achieve new state-of-the-art (SOTA) results in specific downstream tasks including medical image segmentation, camouflaged (concealed) object detection, and shadow detection. SAM2-Adapter builds on the SAM-Adapter's strengths, offering enhanced generalizability and composability for diverse applications. We present extensive experimental results demonstrating SAM2-Adapter's effectiveness. We show the potential and encourage the research community to leverage the SAM2 model with our SAM2-Adapter for achieving superior segmentation outcomes. Code, pre-trained models, and data processing protocols are available at http://tianrun-chen.github.io/SAM-Adaptor/

In this study, we present a method that enables individuals to generate 3D garment designs from basic sketches, thus making a previously specialized creative field more accessible. Our approach takes a single freehand sketch as input and employs generative deep learning techniques to automatically create high-fidelity 3D garment models using a conditional diffusion 3D generation network. Our proposed method comprises two key components: 1) a pre-training phase that uses a 3D prior, drawing on a varied dataset of clothing shapes in 3D to grasp the essential characteristics of these forms, and 2) a sketch-to-prior mapping module that establishes a connection between the sketches and the pre-trained manifold, facilitating the effective generation of 3D shapes. Our method not only overcomes existing limitations but also introduces new possibilities for shape prototyping and exploration in fashion design, thus broadening the scope of creativity for a more diverse audience.

To support children's food interaction and enhance their understanding of food through morphing food technology, we develop a design exploration through the Research through Design (RtD) methodology. Our exploration integrates four stages: (1) defining design objectives through empathy with stakeholders, (2) investigating morphing food materials to understand their deformation mechanisms, (3) designing and iteratively developing tools based on user feedback, and (4) conducting a workshop-based evaluation. Our design outcome is a toolkit, comprising a morphing food library, trigger tools, and instructional interfaces. The workshop showed that through interaction with morphing food, children learned not only scientific principles but also developed culinary skills, as well as the diversity of food forms and functions. We discussed the detailed findings, insights, and implications for future design.

Abstract TRIZ, the Theory of Inventive Problem Solving, is derived from a comprehensive analysis of patents across various domains, offering a framework and practical tools for problem-solving. Despite its potential to foster innovative solutions, the complexity and abstractness of TRIZ methodology often make its application challenging. This can require users to have a deep understanding of the theory, as well as substantial practical experience and knowledge across various disciplines. The advent of Large Language Models (LLMs) presents an opportunity to address these challenges by leveraging their extensive knowledge bases and reasoning capabilities for innovative solution generation within TRIZ-based problem-solving process. This study explores and evaluates the application of LLMs within the TRIZ-based problem-solving process. The construction of TRIZ case collections establishes a solid empirical foundation for our experiments and offers valuable resources to the TRIZ community. A specifically designed workflow, utilizing step-by-step reasoning and evaluation-validated prompt strategies, effectively transforms concrete problems into TRIZ problems and finally generates inventive solutions. We present a case study in the mechanical engineering field that highlights the practical application of this LLM-augmented method. This showcases GPT-4’s ability to generate solutions that closely resonate with original solutions and suggests more implementation mechanisms.

Abstract Traditional VR shopping applications often rely on static designs for shopping spaces, necessitating frequent teleportation. However, an exploratory case study involving experienced online shoppers revealed several issues with this approach, including problems with interactivity, efficiency, motion sickness, and product presentation. To address these challenges, a workshop was organized with professional designers to gather design strategies, proposing the concept of the dynamic rearrangement of shopping space. This solution enables users to dynamically rearrange the shopping space and the products within it, utilizing space forms such as the department store, the shelf, and the room to suit various shopping intentions: exploration, product comparison, and product matching. In this way, users can obtain access to desired products by rearranging the shopping space rather than through excessive navigation in the static shopping space, creating a contextualized and efficient shopping experience. The solution was evaluated in a within-subjects comparison experiment, which demonstrated our solution’s significant improvements in involvement, motion sickness, efficiency in task performance, product perception, and overall user experience. Our findings suggest that treating the VR shopping space as a flexible, manipulable object through dynamic rearrangements and enriching it with contextualized design elements can provide users with an immersive and efficient VR shopping experience. Space rearrangements may also become a design reference for other VR application scenarios that require frequent locomotion events.