Cognitive biases are systematic deviations in thinking that lead to irrational judgments and problematic decision-making, extensively studied across various fields. Recently, large language models (LLMs) have shown advanced understanding capabilities but may inherit human biases from their training data. While social biases in LLMs have been well-studied, cognitive biases have received less attention, with existing research focusing on specific scenarios. The broader impact of cognitive biases on LLMs in various decision-making contexts remains underexplored. We investigated whether LLMs are influenced by the threshold priming effect in relevance judgments, a core task and widely-discussed research topic in the Information Retrieval (IR) coummunity. The priming effect occurs when exposure to certain stimuli unconsciously affects subsequent behavior and decisions. Our experiment employed 10 topics from the TREC 2019 Deep Learning passage track collection, and tested AI judgments under different document relevance scores, batch lengths, and LLM models, including GPT-3.5, GPT-4, LLaMa2-13B and LLaMa2-70B. Results showed that LLMs tend to give lower scores to later documents if earlier ones have high relevance, and vice versa, regardless of the combination and model used. Our finding demonstrates that LLM's judgments, similar to human judgments, are also influenced by threshold priming biases, and suggests that researchers and system engineers should take into account potential human-like cognitive biases in designing, evaluating, and auditing LLMs in IR tasks and beyond

8629 Background: HER2 mutations occur in 2–4% of non-small cell lung cancer (NSCLC) patients. Previous studies with small cohorts have showed poor clinical outcomes in HER2-mutant NSCLC patients treated with immune checkpoint inhibitors (ICIs). However, in these previous studies, ICIs had not been used as the first line treatment in advanced NSCLC. Thus, the clinical outcomes in HER2-mutant NSCLC patients treated with ICIs in the first line treatment are still unclear. Methods: Using a large-scale clinical-genomic database of LC-SCRUM-Asia, the clinical-genomic characteristics and therapeutic outcomes of NSCLC patients harboring HER2 mutations were investigated. Tumor mutation burden (TMB) in tumors with HER2 mutations was compared to tumors with EGFR mutations or ALK fusions. Results: From March 2015 to June 2023, 15,251 NSCLC patients enrolled in LC-SCRUM-Asia. HER2 mutations were detected in 402 patients (2.6%). The most common subtype of HER2 mutations was exon 20 in-frame insertions (Ex20ins) (79%), followed by tyrosine kinase domain other than Ex20ins (10%), extracellular domain (7%) and transmembrane domain (3%). The most common Ex20ins was Y772_A775dupYVMA (66%), followed by G776delinsVC (14%), G778_P780dupGSP (7%). A total of 268 patients had received platinum-based chemotherapy with ICI (Chemo-ICI, n = 95) or without ICI (Chemo-alone, n = 173) until October 2022. The median follow-up periods were 18.5 and 19.9 months in the patients received Chemo-ICI and Chemo-alone, respectively. The patients received Chemo-ICI showed a significantly longer progression-free survival (PFS) compared to those received Chemo-alone (median 8.5 vs 6.3 months, HR [95%CI]: 0.66 [0.50–0.88], p < 0.005). In multivariate analysis, the addition of ICI to platinum-based chemotherapy was an independent better prognostic factor for PFS. There was no significant difference in the overall survival between the patients received Chemo-ICI and Chemo-alone (median 31.1 vs 23.3 months, HR [95%CI]: 0.80 [0.57 – 1.12]). The overall response rates were 34.7% and 35.3% in the patients received Chemo-ICI and Chemo-alone, respectively. Tumors with HER2 mutations showed a higher TMB (median 4.22 mut/Mb) and a higher percentage of TMB≥10 mut/Mb (12.3%) compared to tumors with EGFR mutations (median 2.54 mut/Mb and 1.0%, respectively) or ALK fusions (median 2.52 mut/Mb and 0.8%, respectively). The subtype of HER2 mutations showed no significant difference in the clinical outcomes of Chemo-ICI and Chemo-alone. Conclusions: Our large cohort demonstrated that the addition of ICI to platinum-based chemotherapy as first line treatment may improve PFS in NSCLC patients with HER2 mutations. Relatively high TMB may contribute to prolongation of PFS with ICI.

8628 Background: MET amplification (amp) account for 10-15% of resistance mechanism in EGFR-mutated non-small cell lung cancer (NSCLC) to EGFR-tyrosine kinase inhibitor (TKI) treatment. MET copy number (CN) gains consists of MET focal amp and polysomy (poly), but the clinical characteristics and outcome of EGFR-TKI resistant NSCLC patients harboring MET amp, poly remains unclear. Methods: The clinical-genomic characteristics and treatment outcome ofEGFR-TKI resistant EGFR-mutated NSCLC registered in LC-SCRUM-TRY (UMIN000041957) were analyzed. Genetic resistant alterations were screened using next-generation sequencing (NGS) (Tissue; Oncomine Precision Assay [OPA] or Plasma; Guardant360 [G360]), and MET-fluorescence in-situ hybridization (FISH). MET amp was defined as MET CN ≥4 (OPA), MET CN ≥2.12 (G360) or MET/CEP7 ratio ≥2 (FISH). MET poly was defined as MET CN≥5 and MET/CEP7 ratio <2 by FISH. Results: A total of 1559 patients had been enrolled in LC-SCRUM-TRY between Sep 2020 and Jan 2024. Of 1537 analyzed samples, 666 (43%) were EGFR-TKI resistant samples. Of these, 92 (14%), 239 (36%) and 335 (50%) had MET amp, poly, and no CN gain (no CNG), respectively. Patient characteristics and treatment outcome with 1 st line EGFR-TKI and platinum-based chemotherapy (PBC) post EGFR-TKI is summarized (Table 1). The overall response rate (ORR) of PBC post EGFR-TKI in the patients with MET amp, poly and no CNG was 41%, 29% and 31%, respectively (p=0.34), with median progression-free survival (mPFS) being 5.7 months, 6.8 months, and 6.7 months (p=0.02). In addition, 12 and 11 of patients with MET amp and poly were enrolled into clinical trial of MET-targeted therapy (MET-TKI, n=2; MET-antibody-drug conjugate [ADC], n=4; EGFR/MET-antibody, n=2), and MET non-targeted therapy (EGFR-TKI, n=5; other ADCs, n=10: immunotherapy; n=1). The ORR of MET-targeted therapy/MET non-targeted therapy were 60/0% for MET amp, and 0/33% for MET poly, respectively. Conclusions: Patients with shorter PFS with prior 1 st line EGFR-TKI are more likely to have MET amp. The efficacy of standard PBC post EGFR-TKI in patients with MET CNG is limited. Current MET-targeted therapy may not be effective for EGFR-mutated NSCLC harboring MET poly after progression on EGFR-TKI. [Table: see text]

Recent advancements in large language models (LLMs) integrated with external tools and APIs have successfully addressed complex tasks by using in-context learning or fine-tuning. Despite this progress, the vast scale of tool retrieval remains challenging due to stringent input length constraints. In response, we propose a pre-retrieval strategy from an extensive repository, effectively framing the problem as the massive tool retrieval (MTR) task. We introduce the MTRB (massive tool retrieval benchmark) to evaluate real-world tool-augmented LLM scenarios with a large number of tools. This benchmark is designed for low-resource scenarios and includes a diverse collection of tools with descriptions refined for consistency and clarity. It consists of three subsets, each containing 90 test samples and 10 training samples. To handle the low-resource MTR task, we raise a new query-tool alignment (QTA) framework leverages LLMs to enhance query-tool alignment by rewriting user queries through ranking functions and the direct preference optimization (DPO) method. This approach consistently outperforms existing state-of-the-art models in top-5 and top-10 retrieval tasks across the MTRB benchmark, with improvements up to 93.28% based on the metric Sufficiency@k, which measures the adequacy of tool retrieval within the first k results. Furthermore, ablation studies validate the efficacy of our framework, highlighting its capacity to optimize performance even with limited annotated samples. Specifically, our framework achieves up to 78.53% performance improvement in Sufficiency@k with just a single annotated sample. Additionally, QTA exhibits strong cross-dataset generalizability, emphasizing its potential for real-world applications.