To economically manage the rapid traffic growth in data center networks, transmission technologies need to be studied for next-generation high-speed Ethernet, such as 1.6 TbE and beyond. This article describes a demonstration of 1.6 Tb/s (4 × 400-Gb/s/lane) O-band transmission over 10 km of installed four-core fiber. Since chromatic dispersion limits the transmission distance of the high-speed intensity-modulated direct detection (IM-DD) signals, a space division multiplexed technology using the 10-km four-core fiber is suitable to parallelly transmit 400-Gb/s/lane signals at near-zero dispersion wavelengths. A net-rate of 400 Gb/s/lane IM-DD signals with 155-GBd pulse amplitude modulation-8 (PAM-8) is generated by using an in-house broadband amplifier based on an InP double hetero-junction bipolar transistor (InP-DHBT). Our nonlinear maximum likelihood sequence estimation (NL-MLSE) enhances the performance of the 400-Gb/s/lane signals. We also introduce a technique called trellis path-limitation MLSE (TL-MLSE) for reducing computational complexity with temporarily decided results and a truncated trellis diagram. The trellis path-limitation MLSE with nonlinear calculation function (TL-NL-MLSE) achieves 1.6-Tb/s 10-km transmission in the O-band with the same performance as and lower computational complexity than the NL-MLSE.