2026 LLM Research Trends: Search Agents, RL Credit Design, Internal Representations, and Inference Scaling

최근 arXiv에 올라온 LLM 논문들을 보면, 성능 개선의 초점이 단순한 모델 확장만이 아니라 학습 방식과 추론 방식의 세부 설계로 옮겨가고 있다. 이번 묶음은 검색 에이전트의 자기개선, RL에서의 토큰 단위 보상 설계, 내부 표현을 이용한 캘리브레이션, 그리고 기존 백본을 유지한 채 추론 계산을 늘리는 접근을 함께 보여준다. 각 논문은 서로 다른 문제를 다루지만, 공통적으로 "무엇을 더 크게 만들 것인가"보다 "어디에 더 정확히 계산과 신호를 배분할 것인가"를 묻고 있다. [S2][S3][S5][S9] [S2] [S3] [S5] [S9]

1. LLM 연구가 다시 집중하는 네 가지 축

이번 글의 네 편은 서로 다른 축을 가리킨다. 첫째는 검색 에이전트 학습으로, 장기 상호작용에서 에이전트가 자기 경험으로 좋아질 수 있는지에 초점이 있다. 둘째는 RL 보상 설계로, 토큰별 credit을 어떻게 배분하느냐가 reasoning 개선에 직접 연결된다는 문제의식이 보인다. 셋째는 내부 표현 기반 캘리브레이션으로, 출력된 chain-of-thought보다 중간 활성값이 더 직접적인 신호가 될 수 있는지 묻는다. 넷째는 추론 시 계산 확장으로, 백본을 바꾸지 않고 토큰당 계산량을 늘려 성능을 더 끌어올릴 수 있는지 탐색한다. 이 네 흐름은 모두 "학습 신호", "표현", "계산"을 더 정교하게 다루려는 방향으로 읽을 수 있다. [S2][S3][S5][S9]

Sources: [S2], [S3], [S5], [S9]

2. 검색 에이전트는 어떻게 자기 경험으로 좋아지는가

DeepSearch-World 논문이 다루는 문제는, 도구를 쓰는 웹 에이전트를 학습시킬 때 기존의 supervised fine-tuning과 sparse-reward RL이 각각 갖는 한계다. 초록에 따르면 supervised fine-tuning은 고정된 teacher-distilled trajectory에 의존하고, sparse-reward RL은 장기 상호작용에 대해 약한 supervision만 제공한다. 이에 대해 저자들은 DeepSearch-World라는 deterministic하고 verifiable한 환경을 만들고, reproducible한 search 및 page-reading tools를 제공한다. 핵심 아이디어는 DeepSearch-Evolve라는 self-distillation framework로, 에이전트가 자신의 경험에서 학습하도록 하는 것이다. 여기서 초점은 단순히 검색을 더 잘하게 만드는 것이 아니라, 장기적인 tool-use interaction을 학습 가능한 형태로 바꾸는 데 있다. [S2]

Sources: [S2]

3. RL에서 왜 토큰 단위 보상 설계가 중요한가

When Implausible Tokens Get Reinforced는 critic-free RL에서 흔히 쓰이는 uniform credit assignment를 문제 삼는다. 초록에 따르면 이 방식은 모든 토큰에 같은 advantage를 broadcast하기 때문에, 토큰마다 맥락적 타당성이 다른데도 동일한 신호가 전달된다. 저자들은 이를 Positive-Credit Contamination이라고 부르며, low-probability tail tokens가 잘못된 방식으로 강화되는 실패 모드를 지적한다. 이 논문의 핵심 아이디어는 tail-aware credit calibration으로, 모든 토큰을 동일하게 다루지 않고 tail token의 특성을 고려해 credit을 조정하려는 것이다. 즉, 여기서의 초점은 RL 자체의 유행이 아니라, reasoning 향상에 쓰이는 보상 신호를 얼마나 정밀하게 설계하느냐에 있다. [S3]

Sources: [S3]

4. 출력보다 내부 표현이 더 잘 말해주는 것들

What LLM Forecasters Know but Don't Say는 forecasting용으로 fine-tune된 LLM이 정확할 수는 있지만 calibration이 좋지 않고, chain-of-thought가 예측의 근거를 충실히 반영하지 않을 수 있다는 문제에서 출발한다. 이 논문은 내부 representations가 이 두 문제를 더 직접적으로 볼 수 있는 창이 될 수 있는지 묻는다. 초록에 따르면 연구진은 intermediate activations 위에 representation-pooling probes를 학습했고, 이것이 더 나은 calibration을 보였다고 설명한다. 여기서 핵심은 CoT를 더 길게 읽는 것이 아니라, 모델 내부의 활성값을 통해 예측의 신뢰도와 faithfulness를 점검하려는 점이다. 즉, 이 축은 출력 텍스트보다 내부 상태를 분석 대상으로 삼는다는 점에서 앞선 RL이나 검색 에이전트 연구와 구분된다. [S5]

Sources: [S5]

5. 모델을 더 크게 만들지 않고도 추론을 확장하는 방법

Hidden Decoding at Scale는 LLM 확장의 기존 경로가 주로 Transformer backbone을 키우는 방식이었다고 짚는다. 하지만 이미 강한 모델에 대해 다시 큰 규모의 pretraining을 하는 것은 비용이 크다는 문제의식이 있다. 이 논문은 backbone을 고정한 채, token당 더 많은 computation을 할당해 성능을 더 개선할 수 있는지 살핀다. 초록은 depth-recurrent, 즉 looped Transformers가 이 목표를 추구하지만, looped computation이 자연스럽게 scale되지 않는다고 설명한다. 따라서 이 연구의 초점은 파라미터 규모를 키우는 대신, 추론 시 계산을 어떻게 배분하고 확장할지에 있다. [S9]

Sources: [S9]

---

One-line takeaway: 최근 LLM 연구는 모델을 더 크게 만드는 대신, 검색 에이전트 학습·RL 보상 설계·내부 표현·추론 계산 배분을 더 정교하게 다루는 방향으로 모이고 있다. [S2][S3][S5][S9] [S2] [S3] [S5] [S9]

Short summary: 최근 LLM 연구는 검색 에이전트의 자기개선, RL의 토큰 단위 보상 설계, 내부 표현 기반 캘리브레이션, 추론 시 계산 확장으로 나뉘어 전개되고 있다. 네 논문은 모두 성능 향상의 초점을 "더 큰 모델"보다 "더 정교한 신호와 계산 배분"에 두고 있다. [S2][S3][S5][S9]

Sources and references: - [S2] cs.CL updates on arXiv.org - DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment - URL: https://arxiv.org/abs/2607.07820 - [S3] cs.CL updates on arXiv.org - When Implausible Tokens Get Reinforced: Tail-Aware Credit Calibration for LLM Reinforcement Learning - URL: https://arxiv.org/abs/2607.07976 - [S5] cs.CL updates on arXiv.org - What LLM Forecasters Know but Don't Say: Probing Internal Representations for Calibration and Faithfulness - URL: https://arxiv.org/abs/2607.08046 - [S9] cs.CL updates on arXiv.org - Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models - URL: https://arxiv.org/abs/2607.08186

Internal link ideas: - LLM 에이전트 학습과 tool-use 연구 정리 - 강화학습에서 credit assignment가 중요한 이유 - LLM calibration과 faithfulness를 다루는 방법 - inference-time compute scaling 관련 개념 정리

llm #search-agents #reinforcement-learning #calibration #inference-scaling

---

Note AI-assisted content
This post was drafted with AI (gpt-5.4-mini) using source-grounded inputs.
Please review the citations and original links below.