LLM [사진: 셔터스톡]
LLM [사진: 셔터스톡]

[디지털투데이 최재원 기자] 오픈카지노사이트추천의 챗GPT 등 정보를 해석해 인간에게 알기 쉽게 답변하는 생성형 인공지능(카지노사이트추천)은 정보를 '토큰'(Token)이라는 단위로 인식해 처리한다.

최근 한 번에 수백만개의 토큰을 처리할 수 있는 카지노사이트추천 모델도 등장했지만 인간이 요구하는 전문적인 작업을 처리하기에는 아직 부족하다는 의견이 다분하다. 단순히 처리 가능한 토큰 수를 늘리면 가능하지 않을까 싶지만 현재의 기술로는 아직 부족한데, 이에 대해 20일(현지시간) IT 매체 아스테크니카가 설명했다.

원래 '토큰'은 대규모 언어 모델(LLM)이 처리하는 정보의 단위이며, 영어의 경우 대체로 단어당 1토큰으로 계산된다. 다만 단어의 길이에 따라 예외가 있는데, 예를 들어 Open카지노사이트추천의 'GPT-4o' 등은 'the'나 'it'을 1토큰으로 처리하지만, 'indivisible'은 'ind', 'iv', 'visible'과 같이 여러 개로 나눠 3토큰으로 처리한다.

생성형 카지노사이트추천 챗봇 서비스의 선구자 격인 챗GPT는 출시 당시 처리 능력이 8192 토큰에 불과했다. 이는 약 6000단어 정도의 텍스트에 해당하며, 그 이상의 텍스트를 입력하면 '문장의 머리부터 순서대로 정보를 잊어버리는' 한계가 있었다.

이후 등장한 GPT-4o는 12만8000개의 토큰을 처리할 수 있으며 앤트로픽의 클로드3.5 소넷은 20만 토큰을 구글의 제미나이1.5 프로는 200만 토큰을 처리할 수 있는 등 카지노사이트추천 모델은 매년 발전함에 따라 이 한계는 완화되고 있다.

카지노사이트추천가 발전하고 있지만, 아직은 부족하다는 의견이 다분하다. [사진: 셔터스톡]
카지노사이트추천가 발전하고 있지만, 아직은 부족하다는 의견이 다분하다. [사진: 셔터스톡]

그럼에도 불구하고 인간 수준의 인지 능력을 가진 카지노사이트추천 시스템은 아직 더 많은 발전이 필요하다. 인간은 활동하면서 여러 가지 정보를 습득하는 생물로, 예를 들어 주변을 둘러보는 것만으로도 어떤 물체가 있다는 것, 그 물체의 색깔과 모양, 물체가 왜 거기에 있는지, 물리 현상은 어떻게 작동하는지 등 다양한 정보를 복합적으로 인지하고 이해할 수 있다. 인간 수준의 지능을 달성하기 위해서는 카지노사이트추천 시스템도 이와 유사한 정보량을 흡수할 수 있는 능력이 필요한 것.

대량의 정보를 다루는 LLM시스템을 구축하는 가장 일반적인 방법은 검색 증강 생성(RAG)이라고 불리는 기술이다. 이는 카지노사이트추천을 생성하고, 사용자의 질문과 함께 처리하여 정보를 생성하는 방법이다. RAG가 가장 관련성이 높은 문서를 찾기 위한 메커니즘은 그다지 정교하지 않은데 예를 들어 사용자가 복잡하고 이해하기 어려운 질문을 했을 때 RAG가 잘못된 문서를 검색해 잘못된 답을 내놓을 가능성이 높다. 또 다량의 문서에 대해 정교한 방식으로 추론할 수 없기 때문에 '수십만개의 이메일 요약'이나 '공장에 설치된 수천시간의 카메라 영상 분석' 등 대량의 정보를 읽어 들이는 데는 RAG가 적합하지 않다.

이에 매체는 "오늘날의 LLM은 대량의 정보를 흡수하고 이해하는 능력에서 인간 이하인 것이 분명하다"고 지적했다. 물론 LLM이 훈련할 때 초인적인 양의 정보를 흡수하는 것은 사실이다. 최신 카지노사이트추천 모델은 인간이 읽고 듣는 것보다 훨씬 많은 수조개의 토큰으로 훈련된다. 하지만 전문 지식을 쌓는 데 필요한 정보의 대부분은 쉽게 접근할 수 있는 것이 아니며, 전문 지식은 훈련 시점이 아닌 사용자가 실제로 사용할 때 가르쳐야 한다. 따라서 카지노사이트추천 모델은 사용 시 200만개 이상의 토큰을 읽고 기억해야 하는데, 결코 쉽지 않은 일이다.

카지노사이트추천의 발전은 하드웨어·소프트웨어의 발전과도 연결되어 있다고 봐도 무방하다. [사진: 셔터스톡]
카지노사이트추천의 발전은 하드웨어·소프트웨어의 발전과도 연결되어 있다고 봐도 무방하다. [사진: 셔터스톡]

최근 LLM이새로운 카지노사이트추천을 생성하기 전 최신 카지노사이트추천을 이전 카지노사이트추천과 비교하는 '어텐션(Attention)' 연산을 수행하는데, 이렇게 하면 카지노사이트추천이 커질수록 효율성이 떨어진다고 매체는 꼬집었다.

애초에 이런 연산을 하는 것은 하드웨어의 성능에 기인한다. 원래 카지노사이트추천의 처리에는 CPU가 사용되며, 하드웨어 제조사들은 초기에는 CPU의 처리 성능을 높이기 위해 클럭의 주파수를 높이는 방식으로 대응했다. 하지만 2000년대 초, CPU 과열이라는 문제가 대두되면서 이 방식에 한계가 보이기 시작했다.

대안으로 하드웨어 제조사들은 한 번에 여러 명령어를 실행할 수 있는 CPU를 만들기 시작했지만, 명령어를 순서대로 실행해야 하므로 동작이 빨라지지 않는 문제에 직면했다. 이를 해결한 것이 바로 GPU다.

엔비디아가 개발한 GPU 중 일부는 게임 내 벽이나무기, 몬스터, 기타 오브젝트를 수천개의 '삼각형'으로 구축하며 각 삼각형을 빠르게 그리는 데 적합했다. 이 GPU는 명령어를 하나씩 실행하는 단일 프로세서가 아닌, 병렬로 작동하는 12개의 특수 코어를 갖춰 어떤 순서로든 삼각형을 그릴 수 있는 것이 특징이었다. 결국 엔비디아는 수십, 수백, 결국 수천개의 코어를 가진 GPU를 생산할 수 있게 되었고, 대중은 GPU를 게임 외 용도로 사용하기 시작했다.

한편 업계에서는 GPU에서 최대한의 효율을 끌어내기 위한 연구를 지속하고 있다. 그중 하나가 '맘바'(Mamba)라는 아키텍처로, 이는 트랜스포머와 같은 성능과 기존 RNN(Recurrent Neural Network, 순환 신경망)과 같은 효율을 동시에 구현할 수 있는 가능성을 가지고 있다. 그럼에도 불구하고 수십억개의 카지노사이트추천을 처리할 수 있는 모델을 원한다면, 기존 틀에 얽매이지 않는 인간의 발상이 필요하겠다.

저작권자 © 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지

관련기사