Large language models (LLMs) have excelled across domains, also delivering notable performance on the medical evaluation benchmarks, such as MedQA. However, there still exists a significant gap between the reported performance and the practical effectiveness in real-world medical scenarios. In this paper, we aim to explore the causes of this gap by employing a multifaceted examination schema to systematically probe the actual mastery of medical knowledge by current LLMs. Specifically, we develop a novel evaluation framework MultifacetEval to examine the degree and coverage of LLMs in encoding and mastering medical knowledge at multiple facets (comparison, rectification, discrimination, and verification) concurrently. Based on the MultifacetEval framework, we construct two multifaceted evaluation datasets: MultiDiseK (by producing questions from a clinical disease knowledge base) and MultiMedQA (by rephrasing each question from a medical benchmark MedQA into multifaceted questions). The experimental results on these multifaceted datasets demonstrate that the extent of current LLMs in mastering medical knowledge is far below their performance on existing medical benchmarks, suggesting that they lack depth, precision, and comprehensiveness in mastering medical knowledge. Consequently, current LLMs are not yet ready for application in real-world medical tasks. The codes and datasets are available at https://github.com/THUMLP/MultifacetEval.

Abstract An accurate center localization in near real‐time is critical for tropical cyclone (TC) monitoring and forecasting. This study presents a robust algorithm for localizing typhoon centers using the Chinese geostationary (GEO) meteorological satellite. The results using the Advanced Geostationary Radiation Imager (AGRI) onboard Fengyun‐4A (FY‐4A) satellite data, achieving a mean absolute error (MAE) of 29.4 km across various typhoon intensities in the Western North Pacific, superior to other baseline methods. By harnessing the multi‐spectral imagery from the FY‐4A and incorporating an attention mechanism, it significantly boosts the deep learning convolutional neural network's ability to identify typhoon cloud features and their centers, even during their initial and weakest stages, which is laudable because these are the most difficult for center fixing even for human analysts. Remarkably, it requires just a single moment satellite imagery to locate the center of typhoon, enabling automated updates of the typhoon centers in near real‐time applications.

Water-use efficiency (WUE) is an important indicator for understanding the coupling of carbon and water cycles in terrestrial ecosystems. It provides a comprehensive reflection of ecosystems’ responses to various environmental factors, making it essential for understanding how ecosystems adapt to complex environmental changes. Using satellite-based estimates of gross primary productivity (GPP) and evapotranspiration (ET), our study investigated the spatiotemporal variations in WUE across China’s terrestrial ecosystems from 2001 to 2020. We employed the geographic detector method, partial correlation analysis, and ridge regression to assess the contributions of different factors (temperature, precipitation, solar radiation, vapor pressure deficit, leaf area index, and soil moisture) to GPP, ET, and WUE. The results show significant increases in GPP, ET, and WUE during the study period, with increase rates of 6.70 g C m−2 yr−1, 2.68 kg H2O m−2 yr−1, and 0.007 g C H2O m−2 yr−1, respectively. More than three-quarters of the regions with significant trends in WUE (p < 0.05) displayed notable increases in WUE (p < 0.05). Among all driving factors, leaf area index (LAI) made the largest contribution to WUE, particularly in warm temperate semi-humid regions. Precipitation and solar radiation were the primary climatic influences in arid regions of northern China and humid regions of southwestern China, respectively.