Симплекс скоротив трафік пам’яті на токен на 44%

Що дали розтягування адрес і симплекс

Тут привертає увагу не геометрія сама по собі, а конкретний результат: в описаному експерименті 4D-симплекс потребує п’яти звернень до комірок замість дев’яти у 2D-кубі. Трафік на токен знижується приблизно зі 111 до 61 КБ, тобто на 44%.

Первинним джерелом цих цифр на час обговорення було повідомлення автора експерименту в технічній Telegram-спільноті. Це не опублікований бенчмарк і не завершена наукова робота, тому результати варто сприймати як звіт про поточний прототип, а не як універсальну властивість симплексної пам’яті.

Перша оптимізація ще простіша: адреси читання та запису множаться на один коефіцієнт, розширюючи доступний адресний простір. Для 1024 пар початковий показник був у діапазоні 0,69–0,73, а з розтягуванням при γ = 2 зріс до 0,998–0,999. Для 4095 пар він змінився з 0,04–0,05 до 0,94–0,95 при γ = 4.

За словами автора, обсяг обчислювальної роботи за такого розтягування не збільшується. Ціна сплачується пам’яттю: комірок стає більше. Тобто це не безкоштовна оптимізація всієї системи, а обмін фізичної місткості на вдаліше розміщення адрес.

Заміна куба симплексом атакує іншу статтю витрат. Зі зростанням розмірності кубічна схема швидко збільшує кількість комірок для читання, тоді як у протестованому варіанті симплекс дає компактніший сусідній простір звернення. Автор також повідомляє про помітно кращу екстраполяцію без розтягування та дещо вищу межу з ним.

Де закінчується виграш

Результат виглядає інженерно значущим, але поки що вузьким: виграш стосується конкретної схеми пам’яті та способу адресації. Переносити цифру 44% на будь-яку нейромережеву пам’ять або векторний пошук не можна.

Насамперед варто дивитися не лише на трафік, а й на загальний бюджет пам’яті, затримку доступу та поведінку за шумних запитів. Автор уже зазначає, що симплексна схема гірше переносить шум в адресах, зокрема перефразування, і споживає трохи більше пам’яті. Саме тут гарне скорочення кількості читань може зіткнутися з реальним розподілом запитів.

Наступна перевірка, 6D-симплекс, на момент повідомлення ще обчислювалася. Теоретичне очікування було оптимістичним, але результату у вихідних даних немає, тож приписувати йому додатковий виграш зарано.

Найцікавіше тут не рекордне число, а форма компромісу: менше переміщень даних в обмін на більше сховище та потенційно нижчу стійкість до шуму. Долю підходу вирішить не геометрія на папері, а те, чи збережеться цей баланс на неоднорідних адресах і перефразованих запитах.

Раніше ми розбирали, як конфігурації Claude Opus 4.6 впливають на вартість контексту та вибір архітектури. Це доповнює обговорення нових способів економніше організувати пам’ять LLM.