Academic researchers question the novelty of Anthropic's geometric method for analyzing intermediate LLM layers
The technique uses vector arithmetic to manipulate model reasoning paths.
2329265220.5K
חדשות AI: למי שלא ראה, שלשום אנטרופיק הוציאו מאמר שמנסה להבין איך מודלים מגיעים לתשובה. הם עשו את זה על ידי פענוח תתי מסלולים משכבות הביניים במודל הכללי שהסתמכו על הבנת הגאומטריה של המודל. על ידי השיטה הזאת אתה יכול לראות את תהליך הביניים שמוביל לתשובה הסופית (משהו כמו working memeory) ואפילו לשנות את התשובה. כלומר אם תחסיר את הוקטור של צרפת ותוסיף את הוקטור של סין, כל פעם שתשאל מהי בירת צרפת תקבל בייג'ינג בתור התשובה. השיטה מתבססת על כמה עבודות עבר בתחום אבל המאמר עצמו יפה. כמובן שאנטרופיק עטפו את הכל בPR עצום וזרקו מילים כמו "מודעות" וכמה זה דומה למוח כי שיתאים לנרטיב שלהם
Ziv RavidTECH#741via XStory Brief
A post from @ziv_ravid is circulating a discussion about Anthropic's recent paper on how models reach answers, describing a method that, according to the post, uses vector arithmetic to trace intermediate pathways and even alter outputs. In replies on X, some readers treated the paper as an interesting presentation of existing ideas, while others questioned how novel the underlying method really is. Based on the visible public posts so far, the clearest read is the attributed claim and the skepticism around it, not a settled verdict on the paper itself.
do i understand correctly and anthropic researchers are now amazed to discover that intermediate LLM layers perform computations that manipulate lexical concepts related to the input and output?
YoavgoTECH#95via X
