@science-vibe

논문 제목: Beyond Memorization: The Challenge of Random Memory Access in Language Models
🔗 https://arxiv.org/abs/2403.07805

초기 컴퓨터(1940-1950년대)는 순차 접근 메모리를 사용했습니다. 
이후에 임의 접근 메모리(Random Access Memory, RAM)가 발전되었습니다. 
GPT 모델이 컴퓨터와 같고 아직 RAM이 구현되지 않았다면, 메모리를 더 개선할 수 있다는 기대를 걸어봅니다.

@수고하세요-q8e

애국가 비유가 정말 와닿았습니다. 
감사합니다

@hooniyo

노래의 첫 소절만 알면 나머지를 부를 수 있다는 예제가 아주 적절한 것 같아요. 감사합니다~

@이이이-g4f2y

창의적 답변은 정보의 유형이나 속성 자체는 비슷하면서도 두 정보의 지역성이나 거리자체는 떨어져 있어서, 떠올리기 힘든.. 그런 성질이 있는게 아닐까 싶습니다. 그게 잘 떠오르는 사람을 창의력이 높거나 비유를 잘하는사람이라고 일컬어지니까요. 사람도 랜덤한 메모리 접근이 취약한건 매한가지 같긴 합니다. 친구가 "너 그때 A한다음에  B했잖아~" 하고 인덱싱 된 기억A를  건드려줘야 B가 떠오르는 것처럼요. 3일전에 무슨일했어? 하면 아무것도 기억안나죠. 캘린더를 통해서 그날 아침에 무슨업무, 누구를 만났고를 통해서 차근차근 접근하는것처럼요

@zzgo332

그래서 지난 질문을 예로 들어줘야 대답이 제대로 나왔군...

@dodaechega

좋은 영상 감사 합니다. 많은 도움이 되었습니다.

@정동우-n2x

도움이 많이 됩니다.

@가락-k6z

이게 진짜 프롬프트 엔지니어링이지..

@dongyulee2095

난 장기기억이 자구 사라짐, 다시 배움...

@datgreen1448

지난학기 교양수업내용 13주치의 강의요약본을 gpt-4O 모델에 학습시켰는데 주차가 지날 수록 엉망이 되더라고요
오늘 논문의 실험내용과 거의 동일해요 놀랍네요!

@muzimuzi570

영상 잘봤습니다! 논문 링크가 더보기나 댓글에 있으면 더 좋겠네요 ㅎㅎ 감사합니다~

@richardphillipsfeynman8851

너무 흥미롭네요

@latte1962

영상 잘 봤습니다. gpt4o 사용하고 있는데, random access 성능이 좀 되는 거 같기는 한데 그래도 문맥과 함축성을 가득 담아서 짧게 입력하는 것보다 길게, 질문을 구체적으로 해서 입력해줄 때 확실히 제 성능을 발휘하더라고요. conlang grammar quiz를 낼 때도 순차적으로 단계를 밟으면서 rule application하도록 하면 정확하게 맞추는데, 맥락없이 A라는 어휘의 α 곡용은 뭐야? 라고 하면 제멋대로 다른 언어에서 참고해서 붙혀버리는 경우도 있었고요. 그래서 요즘에는 이 GPT의 성질을 경험적으로 이해해서 십분 활용하고 있습니다. Random access 성능을 향상시키더라도 구조적 한계로 그 향상의 상한은 있을 거 같아요.

@hebo1221

시퀀셜한 데이터를 학습했으니 어찌보면 당연한 결과일지도요. 뇌과학에서도 옛날부터 비슷한 연구가 많은걸 보면 지능으로써 어찌보면 당연하게 가져야할 inductive bias라고 생각됩니다. Random access성능을 높여야 되는게 아니라 조절할수 있도록 해야되지 않을까요? 창의성이 필요한 Task에선 높이도록 말이죠. 심하게 높이면 ADHD 걸리게 만들수도 있겠군요 ㅋㅋ

@dalaymann

반달돌칼이 나를 여기로 끌고 왔다...

@hyunsikkim2853

너무 재밌는 주제 가져와주셔서 잘 보고 있습니다 감사합니다ㅎㅎ 읽으시는 논문 선정 기준은 어떻게 되는지 알 수 있을까요?

@maidragonia

1 인간의 기억도 시계열을 뛰어넘어 접근하지만 정확성을 보장하진않는다.
2 인간이나 LLM이나 지나고 나면 빠르게 망각하는 성질을 지닌다. (휘발적)
3 Daft Punk의 Random Access Memories(2013)은 명반이다.

@MrNezlee

저 번호 문장들을 백터 DB에 저장한 다음에 1번 문장 검색하면 검색이 잘 될까요?

@grayliar147

인간처럼 인공지능 신경망을 만든다고 했는데, LLM이 어떻게 정보에 접근하는지 관점은 처음이네요. 흥미로운 논문 소개 감사합니다.
bumjini님은 인공지능을 공부를 어떤 방식으로 하시나요?? 예전에 누구한테 어떻게 논문에 있는 방식을 코드로 구현하냐고 물어본적 있습니다. 이럴때 paper with code를 보면 된다고 했는데, 어떻게 구현하는지 이해하는지 이해 못한적이 있어서요. 그리고 회소 인코딩 같이 제가 모르는 새로운 개념을 보면 항상 부족함을 느낍니다. 그런것을 잘 아는 사람들은 많은 노력을 했구나 라고 생각합니다. 이런 다양한 개념을 알기 위해서는 계속 공부하는 방법밖에 없나요?? 아니면 공부하는 것일지 궁금해서요.

@coco-lz3kr

본 논문에서 가정하는 것이 fine-tuning이 LLM을  특정 도메인에 대해서 암기 시키는 거라고 보여지는데, 일반적으로는 특정 도메인에 대한 지식을 늘리는 거지 암기하는 거랑 다르지 않나요? 어차피 fine-tuning 도 그 도메인에 더 맞게 next-prediciton token을 더 잘하게 만드는 거라고 생각하는데.. 암기가 목적이면 RAG 같은 것이 더 나은 방식 같아보입니다.  혹시 내용 틀렸다면 정정 부탁드립니다.