해시 게임 바카라

[디지털투데이 해시 게임 바카라리포터] 인공지능(해시 게임 바카라) 스타트업 사카나 해시 게임 바카라(Sakana 해시 게임 바카라)가 거대언어모델(LLM)의 메모리 효율성을 위한 새로운 기술을 소개했다.

18일(현지시간) 온라인 매체 기가진에 따르면 사카나 해시 게임 바카라는 '유니버셜 트랜스포머 메모리'(Universal Transformer Memory)라는 논문을 통해 새로운 신경망 기반 메모리 모델인 NAMM(Neural Attention Memory Model)을 발표했다.

NAMM은 LLM 메모리에 저장된 칵 토큰을 기억할지 잊을지를 결정하는 신경망으로, 컨텍스트에서 중복된 세부 정보를 줄이고 추론 시 메모리 효율을 높이는 역할을 한다.

LLM은 사용자의 입력을 컨텍스트로 받아 새로운 응답을 생성하는데, 이 과정에서 컨텍스트 길이에 따라 비용 증가와 성능 저하가 발생하는 문제가 있었다. 이에 사카나 해시 게임 바카라는 NAMM을 통해 가장 중요한 정보에 집중할 수 있도록 했다.

NAMM은 모델 본체와 별도로 훈련이 가능하며, 모델의 컨텍스트 윈도우에서 각 토큰의 관계와 중요도를 결정하는 핵심 구성 요소 중 하나인 LLM의 어텐션 레이어에서 작동한다. 이를 통해 어텐션 값에 따라 LLM의 컨텍스트 윈도우에서 어떤 토큰을 보존하고 삭제할지를 결정한다.

사카나 해시 게임 바카라는 라마 3 8B 모델에서 NAMM을 학습하고 벤치마킹을 진행했으며, 필요한 캐시 메모리를 최대 75%까지 줄이면서도 다른 메모리 절감 기술과 비교했을 때 성능을 크게 향상했다고 밝혔다. 또한 NAMM을 사용할 경우 매우 긴 데이터 시퀀스도 효율적으로 학습할 수 있을 것이라고 사카나 해시 게임 바카라는 전망했다.