@pasquadev: Paper: MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use Esse paper mostra que memória pode piorar a resposta do modelo mesmo quando a memória está correta. Os pesquisadores chamam isso de cognitive traps: uma lembrança verdadeira e relevante pode fixar o modelo na mesma estratégia de antes ou distorcer a crença dele sobre a tarefa atual. Eles criaram o MemTrapBench pra medir isso em dois grupos de modelos e cinco frameworks de memória. O resultado: todos os frameworks ficaram abaixo do modelo sem memória nenhuma, e até os melhores perderam mais de 10%. A mitigação proposta, o AdaptiveMem, é um prompt de inferência que checa se a memória recuperada se aplica antes de usar, sem mexer em armazenamento nem nos pesos. Isso desafia a ideia de que mais memória sempre ajuda. Benchmark de memória mede se o agente lembrou certo. Falta medir se lembrar atrapalhou.
Interessante que a padronização levou a isso. Há algumas documentações sobre alucinação agêntica que trás algumas provocações sobre o treinamento em excesso da IA ter um resultado que a leva a ter problemas com a abstração de ideias, mesmo que estejam sobre o mesmo tema.
2026-10-02 01:09:25
1
Daniel Demetrio :
super faz sentido, já tive problema em progreçao, por não querer perder o contexto, já mantive longas memórias na ia, mas quando vinha resultado, vinha mexido onde não precisava mais, até desconfiguração de coisa pronta.
2026-10-02 00:54:04
1
Andre Furtado :
considerando o exemplo que deu de help desk, me fez pensar em todos os anos em que trabalhei com suporte e a minha memória me ajudava muito a ser melhor, mas não porque eu levava em conta o que aquele cliente viveu no passado, mas sim toda a minha memória de suporte, eu reconhecia problemas muito bem por ter melhor memória, saber sobre o cliente ajudava, mas não memória de problemas da pessoas, mas saber sobre ela, isso me fazia interpretar melhor a reclamação que nem sempre, de fato refletia o problema...
2026-10-02 17:26:10
0
Yargo K. Kovaliuk :
estava pensando sobre isso antes, mas no meu caso, toda vez que tenho que compactar o contexto no claude ele fica "burro".
2026-10-02 10:58:10
0
To see more videos from user @pasquadev, please go to the Tikwm
homepage.