our_knp/reports/Итоги_и_план.md

Итоги и план: спайковые сети KNP / AltAI

15 октября 2026

Цель проекта — распознавание объектов спайковой сетью, которая обучается и работает на KNP/AltAI. MNIST — быстрый полигон, всё найденное на нём переносим на объекты (кошки и собаки, CIFAR-10).

1. Что получилось — главные цифры

Задача	Было	Стало	Как
Цифры, тест MNIST	82,5% (пример KNP)	92–93,5% колонки; 94,7% сеть штрихов	разброс стартовых весов, торможение, исправление ошибки в KNP; признаки штрихов + спайковый выход
Цифры, сдвиг на 2 пикселя	64–67%	91,3%	признаки штрихов + аугментация + обучение дофамином в KNP
Цифры, обучение целиком в KNP	79,7% колонки на признаках штрихов	94,8%	дофамин по ошибке (KNP_DELTA)
Кошки/собаки, свежий тест (600 картинок)	62,5% (HOG + колонки)	67,0% колонки в KNP; 68,3% полностью спайковая цепочка	выученные признаки (k-средние), наказание неверных колонок
Кошки/собаки, потолок без спайков	~60% (HOG)	77,2%	выученные признаки

Свежий тест у кошек и собак просмотрен один раз. Все остальные цифры по объектам — на проверочной выборке.

2. Что мы узнали

Про сеть колонок (пример mnist-learn)

1. Это набор трафаретов. 92% на MNIST держатся только на выровненных цифрах: сдвиг на 2 пикселя даёт 64%, утолщение или утончение линии — 75–79%. Поэтому нарисованные в браузере цифры распознаются плохо.
2. Колонки умеют работать только с разреженным входом. На плотном входе (тысячи спайков на картинку) после STDP веса в основном отрицательные, сумма уходит в минус, и сеть молчит. Так провалились ON/OFF-кодирование «в лоб» и плотные признаки объектов.
3. Колонки не учатся различать классы. Их учат «похоже на мою цифру», но никогда не учат «не путай с соседней». Наказание неверных колонок дофамином (KNP_COL_PUNISH, оптимум 0,012–0,02) даёт +2…+4 п.п., но потолок остаётся: около 84% на признаках штрихов и около 65% на объектах.
4. Размер колонки — 20–40 нейронов. 80 нейронов на 30 000 картинках хуже, на полном MNIST — 93,5% (один seed).
5. Ошибка в KNP: ModelLoader::init_channels иногда подписывал вход картинки на канал меток, и примерно каждое 8–12-е обучение молча ломалось. Исправлено у нас, в апстрим ещё не отправлено.

Про признаки

6. Для объектов узкое место — признаки, а не классификатор. На HOG даже линейный классификатор даёт около 60%. Признаки, выученные из картинок без меток (кусочки 6×6, 400–1600 узоров, k-средние, пулинг по четвертям), — 77–78%.
7. Признаки можно выучить нейронным правилом. Соревнование «победитель забирает всё» по одной картинке за раз даёт не хуже пакетного метода: 75,9% против 74,9%. Нормировка контраста (её нейроном не сделать) стоит всего 0,7–1,3 п.п.
8. Для цифр работают признаки штрихов: 8 направлений × 2 толщины и пулинг по клеткам 4×4. Мелкий пулинг не помогает.

Про обучение выхода

9. Дофамин по ошибке работает и в симуляторе, и в KNP. Метка даёт «+», собственный спайк нейрона — «−», синапс меняется, когда по нему пришёл спайк. На цифрах в KNP это 94,8%, как у обучения вне чипа (94,9%). На объектах — 65–69% против 74% вне чипа. Разрыв пока не объяснён: диапазон весов и число проходов не помогают.
10. Технические подводные камни. В KNP дофамин приходит на шаг позже входных спайков (KNP_DELTA_LAG=1 обязателен). Перед переводом в целые веса редкие входы с огромными весами нужно обрезать. Спайковый нейрон-решатель настраивается без подбора порога: смещение вычитает порог.

Про спайковое кодирование

11. Полностью спайковая цепочка теряет 5–8 п.п. против той же без спайков (77% → 72% на проверочной выборке). Нейрон признака за 10 шагов срабатывает в среднем около одного раза. 20 шагов вместо 10 дают +1,3 п.п.

Про методику

12. Симулятор (viz/altai_sim.py) совпадает с KNP в пределах 0,1–1%. Удобно подбирать пороги без переобучения.
13. Тестовые картинки кошек и собак CIFAR исчерпаны. Для новой честной цифры нужен другой набор.
14. На 1000 проверочных картинках разброс по seed ±1–2 п.п. Выводы по разнице меньше 2 п.п. без нескольких seed ненадёжны.

3. Что есть в репозитории

Что	Где
Опции сети: KNP_COL_*, KNP_COL_PUNISH, KNP_DELTA, KNP_W_RANGE, KNP_MNIST_INPUT_SIZE	examples/examples/mnist-learn/models/altai/construct_network.cpp (копия для объектов — cats-dogs/source)
Бэкенд с обучением по ошибке	readout/build_delta_cpu.py → ~/run/delta-cpu/libknp-cpu-delta-backend.so
Признаки штрихов, выученные признаки	features/stroke_features.py, objects/kmeans_features.py
Спайковый выход, точная симуляция цепочки, дофаминовое правило	readout/, objects/spiking_pipeline.py, objects/dopamine_readout.py
Данные объектов v3 (9000 обучающих), свежий тест	objects/prepare_big.py, objects/final_fresh_test.py
Визуализатор цифр (три сети, сдвиги)	viz/app.html, https://claude.ai/artifact/Vc1q1WCZuPY2QAHBSGtrKF
Отчёты и журналы	reports/<дата>/ — отчёты и журнал.md каждого дня, оглавление reports/README.md

4. План на неделю: что показать

Предлагаемая история для показа: «Спайковая сеть на KNP, которая сама учится на платформе. На цифрах — 95% и устойчивость к сдвигу, которой у исходного примера не было. На объектах — заметный рост против исходного подхода, а выученные признаки показывают, куда расти дальше». Показ — живое демо в браузере и одна страница с цифрами.

Обязательное (дни 1–4)

День	Задача	Результат
1	Новый честный тест для объектов. CIFAR-10.1: новый тестовый набор того же формата, около 200 кошек и 200 собак. Прогнать зафиксированные варианты один раз.	Цифра, которую можно показывать
1–2	Сократить разрыв в KNP на объектах (69% → 72–74%). Шаг обучения, который уменьшается со временем; несколько нейронов на класс с голосованием; 3 seed на каждый вариант.	Лучший вариант, обученный в KNP
2–3	Демо для объектов в браузере. Выбрать или загрузить картинку → карты узоров → спайки → ответ «кошка/собака»; рядом сравнение со старой сетью.	Страница для показа
3	Обновить страницу цифр: веса выхода, обученные в KNP дофамином; подпись «обучено на платформе».	Демо 2
4	Сводка для показа: одна страница или 5–6 слайдов — что было, что сделали, цифры, ограничения. Прогоны для сводки — минимум 3 seed.	Материал для встречи

Желательное (если останется время)

• Слой признаков, обученный в самом KNP: соревновательные нейроны AltAI со STDP на кусочках картинок. Тогда «всё обучено на платформе» станет буквальным. Риск: большой объём C++ и медленная симуляция 800 × 729 нейронов.
• Отправить в KasperskyLab/knp исправление ModelLoader и описание режима KNP_DELTA.
• ON/OFF-вход с нормировкой потока спайков для колонок.

Риски

• Цифры по объектам на 400–1000 картинках шумят на ±2–4 п.п. На показе давать интервалы, а не одну цифру.
• Полностью спайковая цепочка проверена в нашем симуляторе, а не в KNP. Слой признаков на 583 тысячи нейронов в KNP пока не запускался.
• Только цифры дают убедительную историю. Для объектов честный рост — около 5 п.п. от исходного подхода (62,5% → 67–68%).

Что нужно решить

1. Кому показываем и в каком формате: живое демо, слайды или документ?
2. Что главное: объекты (честный, но скромный рост) или цифры (сильный результат и устойчивость)? Предлагаю цифры как «доказательство метода» и объекты как «перенос и направление».
3. Нужна ли буквальная формулировка «всё обучено на платформе»? Тогда в приоритет идёт слой признаков в KNP, а не демо объектов.