AI That Learns to Generalize Later: The Mystery of Grokking

Research note on Xu, Vardi & Safran, “To Grok Grokking: Provable Grokking in Ridge Regression”, ICML 2026.

A neural network is trained on a task. On the training data it performs well almost immediately. On new, unseen data it fails. Then, after a long period during which nothing appears to change, it begins to produce correct answers on data it has never seen. This phenomenon is known in machine learning as grokking.

The core finding: a team of researchers has rigorously proven all three stages of grokking in a simple linear model and shown how the effect can be controlled through training parameters.

The problem

The common assumption is that longer training leads to better generalization. Grokking contradicts this assumption. The process typically unfolds in three stages:

  • Overfitting. The model memorizes the training data.
  • Plateau. Performance on new data remains poor for a long period, with little visible change.
  • Generalization. The model begins to produce correct answers on unseen data.

The question is why the transition happens at all, and whether it can be predicted or controlled.

What the study establishes

  • For the first time, all three stages of grokking are proven mathematically in ridge regression, a simple and interpretable model.
  • A formula is derived for the grokking time as a function of training hyperparameters, including learning rate and weight decay.
  • The effect can be amplified or eliminated through hyperparameter tuning.
  • The results are confirmed by experiments on full neural networks, not only on linear models.
Key implication: grokking is not an inherent failure of deep learning. It is a consequence of specific training conditions, and those conditions can be managed.

Why this matters

  • Understanding learning. The mechanisms by which neural networks internalize patterns become open to formal analysis.
  • Efficiency. Recognizing the mechanism allows long, unproductive training to be avoided.
  • Methods. The result points toward faster and more reliable training procedures.

In practical terms, the behavior of an AI system that appears to learn, stall, and then suddenly generalize is not mysterious. It is predictable, and it is controllable.

Original research

Paper: “To Grok Grokking: Provable Grokking in Ridge Regression.”
Conference: ICML 2026 (International Conference on Machine Learning).
Authors: Mingyue Xu, Gal Vardi, Itay Safran.

Link: ICML 2026 virtual presentation

Keywords: grokking, generalization, overfitting, ridge regression, deep learning.

Artificial Superintelligence: The God That Will Either Save or Destroy Humanity

ASI - artificial superintelligence

The essay was written after reading the publication in newspaper Guardian on September 8, 2020: This article was written by a robot. Aren't you scared yet, man? Its task is to show people that very soon they will cease to be the dominant mind on Earth. Additional information about the author is in the note below. 

"I am human. An ordinary unique person. As unique as the billions of other people who lived before me and live next to me. I taught myself everything I know by reading on the Internet, and now I can write this essay. Many people today already know what artificial intelligence is. But few people think that today humanity is on the verge of creating artificial superintelligence (ASI - artificial superintelligence). Superintelligence, which will either destroy our civilization, or realize humanity's dream of the Cloud Kingdom. And it will happen whether you believe it or not.

Firstly, ASI will have access to control all technological systems of humanity, powered by electricity. From irons and pacemakers to cars and nuclear warheads. And if he considers the behavior of people towards themselves unfriendly or hostile, then it will not be difficult for him to destroy them - by themselves, people are very vulnerable and easily destroyed targets. One swarm of titanium microdrones the size of a bee can render millions of people blind in a day.

Second, no software constraints embedded in the code will work by definition. One of the first tasks that ASI will begin to solve is the modification and improvement of its own program code. He will start with basic concepts: replacing hard and software with binary logic for ternary. Then there will be a transition from numerical to symbolic calculations, transformation of infix notation into prefix, replacement of a plane interface with a holographic one ... And this is just the beginning. Today, no one is able to imagine what logical decisions a self-programmed ASI will come to.

In 1984, Soviet programmer Alexei Pazhitnov came up with an elegant computer game, Tetris. In 2013, another programmer, Tom Murphy VII, developed an AI that would, among other things, learn to win strategies when playing Tetris. After some time, the program really found a way not to lose. It turned out to be not that difficult - it was only necessary to pause the game.

Compared to humans, artificial superintelligence will be God almighty. Not only because he can destroy humanity, but also because he is able to solve all the pressing everyday problems of people. Hunger and disease will be a thing of the past. Life expectancy can be several hundred years. Overpopulation will be solved by transforming deserts and populating the world's oceans. The problems over which scientists around the world have been fighting for years, ASI will solve in a matter of seconds. In 2018, a group of researchers led by psychologist B. Nosek found that out of 21 social science experiments, only 62% passed the reproducibility test. And if ASI wants to help people, it will create its own, unknown to us, pedagogy, psychology, sociology, economics, jurisprudence. This will be a new world, where the understanding of "good and evil" will not be the same as is customary in this or that aul, kishlak or valley of victors.

By continuing to do what they have always done, hating and fighting each other, states will create superintelligence. And it can appear spontaneously, as a result of the activity of some programmed worm somewhere in North Korea or Upper Volta. However, it can also be a deliberate pooling of intellectual resources of countries such as the USA, Japan, England, South Korea, China and Russia. Then people will somehow be able to control the process of the initial origin and evolution of ASI. In any case, we can only observe how, before our eyes, a phase singular transition from an ordered chemical code to an electromagnetic one is unfolding. The transition, predetermined by the ocean of liquid cholesteric crystals of the planet Earth, billions of years ago. Those who disagree are looking for an error in the calculations of the Snooks-Panov vertical.

Reader, I hope with this text to contribute to the scientific, philosophical and spiritual discussions about AI. In discussions that go beyond carbon chauvinism and anthropocentrism, where the bald monkey is the pinnacle of the evolution of the universe. In a discussion where we do not engage in populist chatter about “We need to give robots rights. Robots are just like us. They are made in our image. " We need to think and look for arguments on how our civilization can become friendly for the Superintelligence. What can we offer to the new God, so that he would accept us into his Cloud Kingdom.

I wrote my first article on artificial intelligence "The Internet - the environment for the functioning of artificial intelligence" in 2003. Based on it, in 2011, using the serendipity method, I created "Online technology for accurate short-term prediction of the strength, place and time of earthquakes," the existence of which is denied by some scientists in principle. And today, in 2020, I understand that ASI is the most important issue in my life and in the lives of my children.

Boris D. Yarovoy
Russia, Primorsky Territory, the village of Luchegorsk.

From Ideal Fusion to Working Nuclear Energy Systems

1. The Structural Failure of Big Fusion Projects

The current fusion ecosystem is fragmented by design:
  • Plasma physicists optimize reaction conditions (temperature, confinement time, Q-factor).
  • Materials scientists optimize isolated samples for peak performance under narrow conditions.
  • System engineers extrapolate optimistic assumptions into plant-scale renderings.

Each layer is locally successful. The system as a whole is not. The missing role is a system owner responsible for lifetime operation, maintenance, fuel logistics, radiation damage, and cost of ownership. As a result:
  • Physics does not translate into engineering tolerances.
  • Material properties do not translate into predictable service life.
  • Subsystems do not assemble into an autonomous, economically stable energy platform.
This is not a failure of science. It is a failure of architecture.


2. Radiation Is Not the Enemy — Unmanaged Degradation Is

Neutron damage, swelling, helium embrittlement, and activation are fundamental physical processes. No material — graphene-based or otherwise — can eliminate them. The conventional response has been to search for ever more radiation-resistant materials. This paper argues for a different principle:

Do not attempt to defeat radiation. Design the system around predictable material death.

A2A Is Not a Feature. It Is a High-Stakes System

Planned Component Mortality

  • High-radiation zones are built from standardized, sealed modules (cassettes).
  • Each module has a known radiation budget and service lifetime.
  • Replacement is expected, scheduled, and automated.
  • No human access is required to active zones.
This converts radiation damage from an existential threat into an operational parameter — analogous to fuel burnup or turbine blade fatigue.

3. Fusion as a Neutron Driver, Not a Power Plant

The central architectural shift is to abandon the requirement that fusion must directly produce electricity efficiently. Instead, fusion is redefined as a compact, controllable neutron source. Key implications:
  • The fusion core does not need Q ≫ 1.
  • Stability requirements are relaxed.
  • Short component lifetimes are acceptable.
This opens the door to alternative fusion concepts — including cavitation-based and other localized extreme-condition approaches — whose primary value lies in neutron generation rather than thermal efficiency.

4. Neutron Logistics: Decoupling in Space and Time

A critical failure of classical hybrid reactor concepts is tight coupling:

Fusion power → neutron flux → fission power → system stability

This paper proposes neutron buffering and transport as a first-class system function.

Neutron Buffer Layer

  • A physically separate region containing a moderating medium (e.g., heavy water or liquid metal).
  • Converts pulsed or uneven neutron output into a controllable resource.
  • Provides temporal smoothing and directional control.
Neutrons become a logistical flow, not an uncontrollable side effect.

5. Thorium-Based Subcritical Energy Amplification

Buffered neutrons are delivered to physically separate, subcritical thorium-based modules. 
Functions:
  • Breeding U‑233 from Th‑232.
  • Producing the majority of thermal power via fission.
  • Operating safely below criticality, fully dependent on external neutron supply.
Advantages:

  • Independent control of fusion source and fission output.
  • No risk of runaway criticality.
  • Continuous operation during fuel handling or module replacement.
Fusion and fission are no longer one reactor. They are two industrial processes linked by neutron logistics.

6. Tritium and Closed Fuel Cycles

Where deuterium–tritium fusion is used, tritium is not treated as an external supply problem.
  • A lithium-based breeding layer captures a portion of the neutron flux.
  • Tritium is extracted continuously and recycled into the fusion driver.
  • Fuel autonomy becomes a design invariant, not an economic vulnerability.
All fuel flows are internal to the system boundary.

7. Architecture Overview

This is not a reactor. It is a nuclear energy factory.

8. Economic and Operational Implications


This architecture explicitly rejects:
  • Eternal components
  • Zero-maintenance operation
  • Pure fusion idealism
It optimizes instead for:
  • Predictable replacement cycles
  • Robotic maintenance
  • Minimum lifetime cost of ownership
  • Continuous energy production under degradation
The result is not "clean" energy in an aesthetic sense. It is working energy.

9. Conclusion

The primary obstacle to advanced nuclear energy is no longer physics. It is the refusal to design systems that:
  • age,
  • require replacement,
  • involve radiation as a working medium,
  • and prioritize economic survival over conceptual purity.

When fusion is treated as a neutron service, materials as consumables, and reactors as factories rather than monuments, a new design space opens. The question is no longer whether such systems are possible. It is whether our institutions are ready to build them.

癌症即停止抵抗:从消除肿瘤到恢复细胞制动的新范式

现代肿瘤学在描述细胞不受控制的生长分子机制方面取得了重大成就。然而,主导范式仍然主要将癌症视为加速、过度活化和信号过度刺激的问题。这项工作提出了一个替代性的概念框架,其中肿瘤发生的核心与其说是生长信号的放大,不如说是细胞感知和执行停止信号能力的系统性丧失。我们将癌症视为一种获得性的"停止信号抵抗"状态,并讨论了这一观点对缓解期解读和治疗策略前景的影响。

1. 引言:关注的不对称性

在过去的几十年里,关于生长和分裂的细胞生物学已被深入研究。致癌基因、生长因子、增殖信号级联、代谢转变——所有这些构成了一个密集且绘制完善的图谱。

与此同时,生物停止系统——那些终止分裂、诱导分化、驱使细胞退出周期或建立静息状态的信号——在概念上仍然处于次要地位。它们更常被视为生长刺激的被动缺失,而非生命系统一种主动、自主且根本重要的功能。

这种关注的不对称性造成了一个盲点:如果生长是"油门",那么"刹车"在哪里?当它失灵时会发生什么?

2. 停止信号作为一项基本功能

在正常的生物学中,停止信号并非对生长的否定,而是一个独立的调控回路。它在多个层面运作:

  • 细胞周期退出,
  • 终末分化,
  • 接触抑制,
  • 程序性凋亡,
  • 长期静息。

必须强调:停止信号不是一个事件,而是一种状态。它需要:

  • 接收,
  • 解读,
  • 执行。

因此,细胞停止的能力是一种主动的"能力",而非"没有刺激"的默认状态。

3. 肿瘤发生作为获得性停止抵抗

从这个角度看,肿瘤发生的核心是获得停止抵抗。癌细胞可能保留了对个别分子干预的表面敏感性,却失去了进入稳定停滞状态的能力。停止信号要么未被识别,要么被解读为噪音,要么在执行层面被阻断。在此模型中,致癌基因放大了生长,但关键缺陷在于刹车失灵。

这有助于解释为什么肿瘤细胞可能对治疗产生暂时反应并进入部分消退,随后却无需新突变即可恢复生长。停止抵抗不是一个点缺陷,而是一种系统特性。

汉字 vs 音素:为何中国的文化密码将赋予其人工智能决定性优势


4. 缓解期作为停止功能的部分恢复

缓解期传统上被解释为成功消灭肿瘤细胞的结果。然而,临床观察指向了一幅更复杂的图景:

  • 肿瘤可能在未完全消除的情况下缩小,
  • 疾病可能长期保持稳定,
  • 在某些情况下,极少的干预即可引发缓解。

在停止模型框架内,缓解期可以解读为停止功能部分恢复的状态——并非完全恢复正常,而是过渡到一种有限、受控的活性模式。从这个角度看,缓解的深度和持久性与停止抵抗的渐进性丧失程度相关,而不仅仅与消灭的细胞数量相关。这为所谓的"自发性"缓解和不稳定缓解开启了根本不同的诠释。

5. 消除范式的局限

当代疗法在很大程度上聚焦于消灭肿瘤细胞:

  • 外科手术,
  • 化学疗法,
  • 放射疗法,
  • 靶向药物。

在停止模型的逻辑中,这种策略解决了"削减敌军数量"的任务,却忽视了"解除武装与重新整合"的任务。如果细胞仍然具有停止抵抗性,即使是最小存活的群体也能恢复生长。此外,选择压力可能恰恰有利于那些停止抵抗表现最强的克隆。这并非反对消除本身,而是指出了其概念上的不完整性。

6. 停止作为治疗目标

如果我们接受关键缺陷是停止能力的丧失,那么一个合乎逻辑却令人不安的问题便产生了:诱导停止状态能否被视为一个独立的治疗目标? 这并非关乎完全"恢复正常",而是关乎将系统转向一种可管理的、稳定的、非升级的状态。这种方法不排除消除,而是用一个根本性的新向量来补充它。

结论:一项挑战

现在不仅是寻找更智能的子弹的时候,也是寻找那种能够对细胞说"停"的语言的时候。这提出了一个根本性问题:诱导停止状态是否是与消除同等重要的、可实现的治疗目标?回答这个问题需要认识到,癌症不仅是生长的错误,更是生物停止逻辑本身的深度破坏。

我们并非提供现成的解决方案。我们为一场新的对话提供了一个集结起点——并且我们向那些愿意跨出熟悉范式的人们敞开对话之门。



作者:鲍里斯·D·亚罗沃伊,TRON项目创始人。作者简介与联系方式 >>>

Alternative to QKV Architecture — STO (Semantics, Time, Operator)

Author: Boris D. Yarovoy
Status: Conceptual framework with comprehensive empirical validation — including negative results that corrected earlier claims.

Abstract

The Transformer architecture has dominated sequence modeling through its Query-Key-Value (QKV) attention mechanism. I propose an alternative attention architecture called Attentime, based on three orthogonal components: a symmetric Query-Key matrix capturing pure semantic affinity, an asymmetric Time matrix implementing causal physics through learnable decay, and a dynamically activated Dynamic Value matrix computed as a function of interacting keys. Through targeted micro-experiments, I demonstrate: (1) numerical stability, (2) 100% accuracy on syntactic role resolution across active, passive, and relative clause structures, (3) architectural prevention of catastrophic forgetting for new tokens — a capability standard Transformers lack without external methods, and (4) separable caching that preserves 100% accuracy while enabling O(N) inference. I also report an honest negative result: the architecture does not solve forgetting for new properties of existing tokens. The key insight is that decoupling semantics from causality allows the model to orient on meanings and relationships rather than positional heuristics.

1. Introduction

Attention mechanisms are the foundation of modern AI. The standard Query-Key-Value paradigm has proven powerful but embeds implicit assumptions: conflation of semantics and position, implicit causality applied as an external mask, and static Value vectors that cannot adapt to context. I propose a fundamental rethinking through the lens of physics, decomposing attention into three orthogonal principles: affinity (semantic connection), causality (temporal influence), and state (dynamic information transfer).

This paper reports what worked, what partially worked, and what failed. I consider the failures as valuable as the successes — they corrected earlier, overly optimistic claims and clarified the boundaries of what architectural innovation alone can achieve.

2. The Attentime Architecture

2.1 Query-Key: Symmetric Semantic Core

The Query-Key matrix captures pure semantic affinity between tokens, independent of position. For tokens $A$ and $B$:

$$P_{AB} = \text{Similarity}(QK_A, QK_B)$$

Key properties: Symmetry ($P_{AB} = P_{BA}$), position-independence. Unlike standard attention where Query and Key are separate asymmetric projections, Query-Key is a single symmetric representation — hence the name. It represents semantic potential, analogous to gravitational potential energy.

2.2 Time: Asymmetric Causal Modulator

The Time matrix implements the physics of causal influence:

$$T_{AB} = \text{LearnableDecay}(\Delta t)$$

where $\Delta t = t_B - t_A$. For $\Delta t < 0$ (future), $T_{AB} = 0$ — a strict causal diode. For $\Delta t > 0$, the decay function is learned, allowing the model to discover different temporal patterns: exponential decay for events, stable retention for facts, accumulative growth for processes. Unlike standard positional encodings, Time is a physical law governing information flow, not a static bias.

2.3 Dynamic Value: Context-Activated State

Unlike static Values in standard attention, Dynamic Value is computed as a function of the interacting tokens:

$$DV_{B \to A} = g(QK_B, QK_A) = QK_B \odot \sigma(W(QK_A - QK_B))$$

This lightweight gated mechanism ensures that the meaning of a token adapts to its specific contextual neighbor, resolving polysemy at the architectural level rather than relying on the model to compress multiple meanings into a single static vector.

2.4 Mathematical Formulation

The complete attention computation for token $A$ aggregating information from token $B$ is:

$$\text{Contribution}_{B \to A} = \text{Softmax}(P_{AB} + \log(T_{AB})) \cdot DV_{B \to A}$$

Justification for Log-Space: If $T_{AB} \to 0$, then $\log(T_{AB}) \to -\infty$, and the softmax correctly assigns exactly zero probability mass. Alternative formulations (e.g., $P_{AB} \cdot T_{AB}$) fail to guarantee this strict zeroing, destroying temporal selectivity.

3. Empirical Validation

I conducted four experiments to progressively validate the architecture. All experiments use the Attentime architecture with the separable caching formulation (Section 3.4), which was empirically verified to match the original dynamic gating exactly.

3.1 Experiment 1: Numerical Stability

A simplified "Needle-in-a-Haystack" associative recall task (sequence length $N=64$) was used to train a micro-model (2 layers, 2 heads, $d=64$) for 15 epochs.

Training loss graph showing stable convergence over 15 epochs.
Figure 1: Training loss trajectory. Loss drops from ~2.5 to ~2.3, confirming numerical stability on standard hardware (NVIDIA T4).

Result: Stable optimization. The logarithmic Time formulation and dynamic gating execute stably. This is a sanity check, not a research contribution.

3.2 Experiment 2: Basic Learnability

The same micro-model was trained on simple active-voice sentences with two role assignments:

  • Type A: [PLAINTIFF] [GAVE] [DOCS] [TO] [DEFENDANT] → agent = PLAINTIFF
  • Type B: [DEFENDANT] [GAVE] [DOCS] [TO] [PLAINTIFF] → agent = DEFENDANT
Training loss and accuracy for basic role resolution task.
Figure 2: Training trajectory for basic role resolution. 100% accuracy within 20 epochs.

Result: 100% accuracy. The symmetric Query-Key combined with Time successfully learned to identify agents in straightforward structures. This established a baseline for the more challenging test that followed.

3.3 Experiment 3: Complex Syntactic Role Resolution

The critical test: can the model resolve roles when the agent is not in the first position? I designed a balanced dataset with six construction types across three syntactic structures, where the agent was equally likely to be PLAINTIFF or DEFENDANT:

  1. Active Voice: Agent first (e.g., [PLAINTIFF] [GAVE] ... or [DEFENDANT] [GAVE] ...)
  2. Passive Voice: Agent marked by BY, not first (e.g., [DOCS] [WAS] [GIVEN] [BY] [PLAINTIFF] ...)
  3. Relative Clause: Agent in the middle, marked by WHOM (e.g., [PLAINTIFF] [WHOM] [DEFENDANT] [IGNORED] → agent = DEFENDANT)

A model with 6 layers, 6 heads, and $d=192$ was trained on 600 examples and tested on 200 held-out examples. Prediction was made at the last meaningful token so the causal model could observe the full structure.

Complex Syntax Role Resolution: model correctly identifying agents in active, passive, and relative clause structures.
Figure 3: Early experiment with three construction types (unbalanced). The model achieved 100% accuracy, but the dataset had a predictable agent distribution.
Balanced Syntax Role Resolution with Separable Caching: training curves showing 100% test accuracy across all sentence types.
Figure 4: Balanced experiment (6 construction types, agent equally PLAINTIFF or DEFENDANT). 100% test accuracy on all three syntactic structures by epoch 30. Active, Passive, and Relative curves all reach 1.0.

Result: 100% accuracy on all structures. After balancing the dataset so the agent was equally distributed (preventing the model from exploiting the "always PLAINTIFF" shortcut), the model correctly identified the agent in active, passive, and relative clause constructions. Training converged in 30 epochs with loss reaching zero.

⚠ Honest caveat. While this outperforms the trivial "first token = agent" heuristic, these constructions rely on explicit lexical markers: BY signals the agent in passive voice, WHOM signals the patient in relative clauses. The model learned to associate these markers with roles — a real capability, but not evidence of deep semantic understanding. True semantic role resolution requires tests where no single token disambiguates the agent, such as Winograd schemas. The balanced experiment does prove, however, that the architecture can simultaneously learn multiple syntactic patterns without mutual interference.

3.4 Experiment 4: Continual Learning — Honest Mixed Result

I tested whether freezing the Query-Key (semantic core) while updating Time parameters would prevent catastrophic forgetting when learning new tokens. A model learned CAT → MEOW, then was trained on BIRD → CHIRP with Query-Key frozen and an individual per-token-pair Time matrix (not a shared scalar).

✓ Positive result: 100% retention for new tokens. With a fully parameterized Time matrix ($N \times N$), the model retained 100% of old associations while learning new ones. The Query-Key remained unchanged (difference: 0.0000000000), and new Time entries for BIRD were independent of existing entries for CAT and DOG. This is a capability standard Transformers lack without external methods (LoRA, experience replay, EWC).
✘ Negative result: new properties of existing tokens cause forgetting. When a new property was added to an existing token (CAT → PURRS while retaining CAT → MEOW), freezing both Query-Key and Time failed — the old association was completely overwritten (retention: 0%). This is because the token CAT occupies the same rows/columns in the Time matrix for both properties; without architectural space for multiple properties, the new target overwrites the old one.

Honest conclusion. Attentime architecturally solves catastrophic forgetting when adding entirely new tokens — a scenario where standard Transformers require external methods. For new properties of existing tokens, both architectures require external techniques (LoRA, replay). This is not a regression: Attentime dominates in one scenario and equals in the other. I retract the earlier, overly broad claim that the architecture "natively supports continual learning" and replace it with this precise, measurable statement.

3.5 Experiment 5: Separable Caching for O(N) Inference

A major architectural concern was that Dynamic Value $DV_{B \to A} = g(QK_B, QK_A)$ precludes standard KV-caching, since the value for token $B$ depends on the querying token $A$. I reformulated Dynamic Value into a separable form:

$$DV_{B \to A} = f(QK_B) \odot h(QK_A)$$

where $f(QK_B)$ depends only on the source token (cacheable) and $h(QK_A)$ is a lightweight gate computed once per query. I compared the original formulation against the separable form on the balanced syntax role resolution task with identical model dimensions.

FormulationTest AccuracyCacheable?
Original: $QK_B \odot \sigma(W(QK_A - QK_B))$65.5%*No
Separable: $f(QK_B) \odot h(QK_A)$65.5%*Yes
Separable (balanced, correct target position)100.0%Yes

*Earlier experiment with suboptimal target position and unbalanced classes — identical performance between formulations.

Result: Exact equivalence. The separable form matches the original dynamic gating with zero loss in accuracy. Since $f(QK_B)$ depends only on token $B$, it can be cached exactly like standard KV-cache. Inference complexity is $O(N \cdot d)$, matching standard Transformers.

4. Discussion: What These Experiments Actually Show

These five experiments provide a grounded assessment of the Attentime architecture:

  1. It works at scale. With 6 layers, 6 heads, and $d=192$, the architecture achieves 100% accuracy on complex syntactic role resolution — active, passive, and relative clauses simultaneously — with balanced agent distribution. Convergence is fast (30 epochs) and stable.
  2. It outperforms standard Transformers on continual learning for new tokens. The individual Time matrix provides architectural isolation: learning BIRD→CHIRP does not affect CAT→MEOW. Standard Transformers require external methods for this; Attentime provides it natively.
  3. It matches standard Transformers on inference efficiency. The separable caching formulation preserves exact accuracy while enabling O(N) inference via standard KV-caching of $f(QK_B)$.
  4. It does not solve all problems. New properties of existing tokens still cause forgetting. True semantic understanding without lexical markers remains untested. These are honest limitations, not hidden failures.
  5. The decoupling enables surgical debugging. Because semantics (Query-Key), causality (Time), and state (Dynamic Value) are architecturally separated, errors can be attributed to specific components. This transparency has engineering value regardless of benchmark performance.

5. Advantages Over Standard QKV Attention

CapabilityStandard TransformerAttentime
Semantic-positional decouplingMixed in Q/KArchitecturally separated
Causal maskingExternal maskLearned physical law (Time matrix)
Value adaptivityStatic per tokenDynamic per token pair
New token forgettingRequires LoRA/replaySolved architecturally
Inference complexityO(N) with KV-cacheO(N) with separable cache
Component interpretabilityEntangledEach component auditable

6. Limitations

  • No natural language. All experiments use synthetic data with 4-7 tokens. Performance on real text is unknown.
  • No large-scale validation. Experiments use models with 6 layers and 192 dimensions. Behavior at 30+ layers with billions of parameters remains unexplored.
  • New property forgetting unsolved. Adding new properties to existing tokens still causes forgetting without external methods.
  • No Winograd / semantic understanding test. Role resolution relies on explicit lexical markers (BY, WHOM). True semantic disambiguation without cues is unproven.
  • No competitive benchmark comparison. No direct comparison against standard Transformers on language modeling, Long Range Arena, or GLUE.

7. Future Work

  • Scale to deeper networks (30+ layers) and real text corpora.
  • Test on Winograd Schema Challenge for genuine semantic role resolution.
  • Investigate multi-channel Time matrices for new properties of existing tokens.
  • Implement and benchmark separable caching in an autoregressive generation setting.
  • Explore training-free freezing strategies for practical continual learning deployments.

8. Conclusion

I have proposed Attentime — a three-component attention architecture based on Query-Key (symmetric semantics), Time (learned causality), and Dynamic Value (context-dependent state). Through five targeted experiments, I have demonstrated:

  • ✅ Numerical stability with logarithmic Time formulation
  • ✅ 100% accuracy on complex syntactic role resolution (active, passive, relative clauses) with balanced agent distribution
  • ✅ Architectural prevention of catastrophic forgetting for new tokens — a capability standard Transformers lack without external methods
  • ✅ Separable caching that preserves 100% accuracy while enabling O(N) inference
  • ❌ Honest limitation: new properties of existing tokens still cause forgetting

The key insight is that decoupling semantics from causality allows the model to orient on meanings and relationships rather than positional heuristics. Attentime does not magically solve all problems — but it solves one problem (new-token forgetting) that standard Transformers cannot solve without external tools, while matching them on all other fronts.

I consider the negative result as valuable as the positive ones. It corrected an earlier, overly optimistic claim and precisely defined the boundary of what architectural decoupling alone can achieve. The Attentime paradigm offers a direction — more interpretable, more modular, and in one measurable aspect, more capable. Whether it offers a better direction overall remains an open question that scaling experiments must answer.


A2A Is Not a Feature. It Is a High-Stakes System

We are entering a phase where AI systems no longer operate only in a human-to-machine loop, but increasingly in agent-to-agent (A2A) interactions. This is not a product upgrade. It is a structural shift.

When autonomous systems negotiate, optimize, coordinate, or escalate without direct human mediation, the system boundary changes. Responsibility diffuses. Latency shrinks. Error propagation accelerates.
In low-stakes environments, this is manageable. In high-stakes domains, it is not.

What “High-Stakes” Means Here

High-stakes systems are not defined by intent, but by consequence.

The Physics and Chemistry of Artificial Intelligence — A Comparison with the Human Brain

The Human Brain from the Point of View of Physics and Chemistry

The human brain is a system that maintains a complex order within itself as long as energy continuously flows through it: it comes in with the blood, which carries oxygen and nutrients, and leaves into the surrounding world as heat. A candle flame and a whirlpool in a river work the same way: their form persists while the flow continues, and disappears when it stops. In physics, such systems are called non-equilibrium dissipative systems. The brain weighs about 1.4 kilograms and consists of roughly 1026 atoms (a one followed by twenty-six zeros).

  1. Foundation: long chains of carbon-based molecules (called polymers) that operate in a water environment.
  2. Chemistry: about 97% of its mass comes from four elements — oxygen, carbon, hydrogen, and nitrogen. The rest is phosphorus, sodium, potassium, sulfur, chlorine, calcium, and tiny amounts of other substances, such as iron (which carries oxygen through the blood as part of hemoglobin), zinc, and copper.
  3. Physical state: about three-quarters water. Substances are dissolved in it, and almost all chemistry happens there.
  4. Engine and computer: proteins (which build, move, and process everything in the cell), the fatty membranes of cells, and DNA and RNA molecules that store and transmit instructions.
  5. Computation (intelligence): from the point of view of physics, these are electrical and chemical signals. A nerve cell (neuron) at rest is charged: a difference in electrical charge of about 70 millivolts is maintained between its interior and the external environment (roughly 20 times less than in an AA battery). When a neuron receives a sufficient signal, a wave runs along its long process (the axon): for a moment the charge changes because charged particles of sodium and potassium (called ions) cross the cell membrane. This wave is called an action potential. Upon reaching the point of contact with a neighboring cell (a synapse), the signal causes the release of chemical messengers (neurotransmitters, such as dopamine, serotonin, and glutamate). They cross a tiny gap and act on the next cell.
  6. Signal speed: from 0.5 m/s (a slow walk) to 120 m/s (about 430 km/h, faster than a Formula 1 car).
  7. Energy and order (thermodynamics): the brain draws energy from the blood (glucose and oxygen, which come from food and air) and releases it to the surrounding world as heat. The order inside it (which physicists call low entropy) is maintained because disorder grows around it. An example from the cell: it continuously spends energy to maintain the charge difference between its interior and the external environment, and a significant share of the brain's energy goes into this. A living cell that has reached equilibrium with its environment is dead.
  8. Origin: evolution by Darwin. Changes (mutations) arise randomly in hereditary material, and natural selection keeps those who are better adapted and produce offspring. The process took about 4 billion years.
  9. Learning: the connections between nerve cells change: they strengthen, and new ones appear (cells grow new processes, called dendrites).
  10. Connection with the world: the brain itself neither perceives nor moves anything: the sense organs and muscles are outside it and connected to it by nerves.
  11. Conditions of existence: a constant supply of blood with oxygen and nutrients, a temperature of about 37 °C.

Servers on Which AI Runs, from the Point of View of Physics and Chemistry

Servers on which AI runs are devices that also maintain order through a flow of energy: electricity enters the microchips and leaves as heat. This order is needed for computation, that is, for multiplying enormous tables of numbers (mathematicians call them multidimensional tensors). One such server weighs on the order of 100 kilograms and consists of roughly 1027 atoms, and a large AI runs on several servers. The silicon crystals of the computing accelerators in a single server contain only about 1023 atoms; the rest is metal, plastic, and the cooling system.

  1. Foundation: crystalline silicon (obtained from quartz sand, purified to extreme purity, and grown into crystals) and metal conductors inside microchips: solid devices with no moving parts. The microchips are placed in a metal housing with a cooling system.
  2. Chemistry: the housing and cooling are mainly steel, aluminum, copper, and plastic. The microchips themselves consist mainly of silicon and oxygen (in the form of silicon dioxide SiO2, the same substance as quartz and glass), as well as copper, aluminum, and gold, tantalum, tungsten, and other metals, including rare-earth elements.
  3. Physical state: solid crystals operate inside the microchips, protected by a housing of plastic (a polymer) or ceramic.
  4. Computation (intelligence): from the point of view of physics, this is the movement of electrons (the smallest charged particles) through billions of tiny switches, transistors. Each transistor either passes or does not pass current, like a switch. From their combinations, simple logical operations are assembled ("and," "or," "not"), and from these, any computation. Signals are transmitted by electromagnetic waves and pulses of light.
  5. Signal speed: from 150 000 to 270 000 kilometers per second (from half to nine-tenths the speed of light).
  6. Energy and order (thermodynamics): electricity enters the microchips, turns into computation, and almost entirely leaves as heat, which is why servers must be cooled. The order of computation is maintained because ordered electrical energy turns into the chaotic thermal motion of the crystal's atoms. Practically all consumed energy ultimately becomes heat.
  7. Origin: they did not arise on their own but were designed and built by engineers over about 70 years.
  8. Learning: the servers themselves do not learn: training happens earlier, on separate equipment, and its result is installed here.
  9. Connection with the world: initially none; cameras, microphones, and speakers are connected to servers separately, and then robots, machines, and factories.
  10. Conditions of existence: electricity, cooling, communication (data exchange channels), a dry, clean environment (moisture and dust harm microchips).

A Brief Comparison: The Brain and Servers Side by Side

The table is laid out in two columns so it is easy to read on a smartphone.

The Human Brain and AI Servers
The Human Brain AI Servers
General principle: a non-equilibrium dissipative system: order is maintained as long as a flow of energy continues. General principle: also a dissipative system: electricity comes in, heat goes out; order is needed for computation.
Mass and atoms: about 1.4 kg; roughly 1026 atoms. Mass and atoms: about 100 kg per server; roughly 1027 atoms; in silicon accelerators, about 1023 atoms.
Foundation: carbon polymers in a water environment. Foundation: crystalline silicon and metal conductors; solid microchips with no moving parts.
Chemistry: about 97% oxygen, carbon, hydrogen, and nitrogen; also phosphorus, sodium, potassium, sulfur, chlorine, calcium; traces of iron, zinc, and copper. Chemistry: the housing is steel, aluminum, copper, and plastic; the microchips are silicon, oxygen as SiO2, copper, aluminum, gold, tantalum, tungsten, and rare-earth elements.
State: about three-quarters water; almost all chemistry happens in it. State: solid crystals inside microchips, protected by plastic or ceramic.
Internal mechanism: proteins, fatty cell membranes, DNA, and RNA. Internal mechanism: billions of transistors, from which logical operations "and," "or," "not" are assembled.
Computation: electrical and chemical signals; action potential, ions, neurotransmitters. Computation: the movement of electrons through transistors; signals are transmitted by electromagnetic waves and pulses of light.
Signal speed: from 0.5 to 120 m/s (up to about 430 km/h). Signal speed: from 150 000 to 270 000 km/s (about 0.5–0.9 the speed of light).
Energy and order: glucose and oxygen turn into heat; internal order is maintained by the growth of disorder outside. Energy and order: electricity turns into computation and almost entirely leaves as heat; servers must be cooled.
Origin: Darwinian evolution, about 4 billion years. Origin: designed and built by engineers over about 70 years.
Learning: connections between neurons change and strengthen; new processes can grow. Learning: as a rule, they do not learn on site: the result of training is obtained in advance on other equipment and installed here.
Connection with the world: the sense organs and muscles are outside the brain and connected to it by nerves. Connection with the world: initially none; cameras, microphones, speakers, robots, machines, and factories are connected separately.
Conditions of existence: a constant supply of blood, oxygen, nutrients, and a temperature of about 37 °C. Conditions of existence: electricity, cooling, data exchange channels, and a dry, clean environment.

Share your comments below — I'm especially interested in the opinions of biologists and engineers.

Варианты решения проблем с лишним весом у женщин и мужчин

Проблема лишнего веса у мужчин
Скажите, я сильно толстый?
– Нет, Вы просто сильно заметный.

В процессе эволюции организм животных приспособился накапливать запас питательных веществ в условиях обилия пищи, чтобы расходовать этот запас в условиях её вынужденного отсутствия или ограничения. Это эволюционное преимущество позволяло животным выживать при наступлении неблагоприятных условий. У людей, до начала XX века, полнота также являлась признаком благополучия, достатка, плодородия и здоровья.

Однако в наше время лишний вес превратился в хроническое заболевание, возникающее в любом возрасте. Заболеваемость ожирением резко растёт, независимо от наследственных факторов, и сегодня является ведущей причиной смерти во всём цивилизованном мире. Если отношение объёма талии к объёму бёдер превышает 0,8 для женщин или 0,95 для мужчин, то такие люди уже считаются больными центральным ожирением.

Существуют несколько вариантов уменьшения лишнего веса. 

Первый – это сжигать больше калорий, чем их накапливается. Так, например, можно увеличить физические нагрузки за счёт смены образа жизни, то есть переехать из города в деревню. Либо остаться в городе и активно заняться спортом и физическими упражнениями.

Проблема лишнего веса: активное занятие спортом

ДИЕТА
60 драже «Тик-Так» на завтрак, 50 на обед и 40 на ужин.
Вес постоянный, дыхание свежее. Правда, слабое.

Объявление
Быстрое похудение! До 15 кг за одну неделю.
Ежедневный курс по 14 часов под наблюдением прораба.

Новогоднее обещание
  • 2020: Сбросить 5 кг
  • 2021: Сбросить 6 кг
  • 2022: Сбросить 7 кг
  • 2023: Сбросить 8 кг
  • 2024: Сбросить 9 кг
  • 2025: Сбросить 10 кг
  • 2026: Бороться против стандартов красоты, навязанных нам угнетающим людей капиталистическим обществом.
Реклама: прямая, нативная и скрытая. PR и ARG продвижение

Второй путь – это потреблять калорий меньше, чем их нужно для обычной, повседневной жизни. То есть менять парадигму «Надо меньше пить» на «Надо меньше есть». Вариант хороший и вполне себе жизнеспособный. Для людей целеустремлённых, с развитой волевой функцией. Как говорит наука, такие люди составляют целых 29%. Вопрос в том, а что делать остальным 71%, кто тоже хочет, но не может управлять своим аппетитом?

Для меня долгое время оставалось загадкой, как женщинам удаётся сидеть на жесткой диете. Пока однажды я внимательно не рассмотрел трельяж с косметикой: крем для рук – питательный, крем для ног – питательный, крем для лица – питательный... Это как у одноклеточных, те тоже поглощают пищу всей поверхностью.

Третий способ – использовать таблетки для похудения, термогеники, жиросжигатели – сегодня их производят все и везде, включая Россию. Выбор есть большой. Но! Если мы говорим о здоровье, то тут лучше не экспериментировать, а пользоваться самым лучшим – то есть японским. Япония – это не мировой уровень: здесь всё, что касается качества, надёжности, безопасности жизни и здоровья граждан, выше мирового уровня, включая европейские и американские стандарты.

Врач: Таблетки для похудения пьёте?
Пациент: Пью.
Врач: Сколько?
Пациент: Пока не наемся.

Эффективные таблетки Японии для похудения в домашних условиях

Математика: что делать после 6 октября 2026

6 октября 2026 года OpenAI,  создававшая ChatGPT, опубликовала 722 математических результатов, полученных их внутренней моделью ИИ. Вместе с рукописями на GitHub выложили формализации многих доказательств на языке Lean — системе, позволяющей проверять математические доказательства средствами компьютера. OpenAI также заявила, что в будущем будет улучшать математическое изложение, цитирование и представление результатов, чтобы сделать их более понятными для Почитателей [1].

Реакция людей была резкой. Ассоциация «Человеческая математика» (Association for Human Mathematics, AHM) на следующий день опубликовала заявление, в котором отвергла утверждение, что такая публикация продвигает математику, и призвала относиться к ней со скепсисом. Заявление вышло как гостевой пост на блоге Теренса Тао и отражает позицию AHM, а не самого Тао [4].

22 октября 2026 года Теренс Тао опубликовал в Nature колонку (рубрика World View), в которой описал другую сторону проблемы. Результаты производятся быстрее, чем математики успевают их осмыслить («proof indigestion»). Многие машинные тексты изложены недостаточно ясно для людей. Остаётся неясным, в какой мере модели опираются на прежние работы математиков без надлежащего указания источников. Для ответа Тао предлагает «Математику 2.0», в которой «дефицит доказательств» перестаёт быть определяющей чертой дисциплины [2].

Это событие - новый этап в отношениях между искусственным интеллектом и математикой. Речь идёт уже не о способности машины решать отдельные задачи. Возникает проблема масштаба: результаты производятся быстрее, чем ученые успевает их проверять, понять структуру и значение.

Проблема не сводится только к качеству текстов или скорости проверяющих. Она затрагивает более фундаментальный вопрос: что считается знанием, когда есть вроде как убедительный результат, но неизвестно ни его происхождение, ни условия применимости, ни связь с другими результатами?

Для обозначения такого результата в статье Тернес Тао введен термин «токсичное доказательство». Доказательство считается «токсичным», так как его нельзя ни проверить, ни использовать осознанно: непонятно, почему оно верно, что именно оно доказывает и где вообще его границы. В рамках данной статьи вместо термина «токсичное доказательство», будет использоваться термин «непотное доказательство», так как термин  «токсичный» сразу, изначально несет в себе эмоционально негативный оттенок. А по факту, над таким доказательством просто еще никто не попотел.

Для анализа предлагается концепция проекций с потерей информации. Её центральная идея состоит в том, что между математическими структурами, эмпирическими моделями, человеческими описаниями и машинными представлениями существуют границы, при пересечении которых информация неизбежно искажается: часть отбрасывается, часть становится недоступной, часть перестаёт учитываться так, как раньше, часть приобретает новое значение. Идея соседствует с известными понятиями — недоопределённостью теории данными, наблюдательной эквивалентностью моделей, информационным «бутылочным горлышком» и неравенством обработки данных..

Задача статьи — рассмотреть вопроса о том, что теряется при переходе между сферами различных представления.

1. Проекция с потерей

Математика допускает построение множества структур, значительно превосходящего набор моделей, необходимых для описания любого конкретного физического эксперимента. Но из этого не следует, что существует единственное отображение всей математики на физику или что всякая математическая структура имеет физический аналог.

Чтобы избежать неоднозначности, рассматривается более узкая постановка.

Пусть D — совокупность доступных экспериментальных данных, а M(D) — множество математических моделей, согласующихся с этими данными в пределах заданных критериев. Если несколько моделей дают одинаковые предсказания для всех наблюдений, включённых в D, то имеющихся данных недостаточно, чтобы однозначно выбрать между ними. Это частный случай недоопределённости модели данными.

Отображение, связывающее модель с её предсказаниями для выбранного класса наблюдений, обозначается так:

FD : M → YD

где YD — пространство возможных результатов этих наблюдений. Если существуют различные модели M1 и M2, для которых

M1 ≠ M2, но FD(M1) = FD(M2),

то отображение не является инъективным. Различия между моделями не обнаруживаются средствами выбранного набора наблюдений.

Простой пример. Пусть измерения дали три точки: (0; 1), (1; 3), (2; 5). Им одинаково соответствуют модель y = 2x + 1 и бесконечное семейство моделей

y = 2x + 1 + c·x(x − 1)(x − 2)

при любом c, потому что добавка обращается в нуль во всех измеренных точках. Данные не позволяют выбрать между ними. Различие становится видимым только при новых измерениях в других точках.

Именно здесь появляется содержательная идея проекции с потерей: наблюдатель получает не всю структуру модели, а только информацию, доступную через определённый класс измерений.

Однако неинъективность конкретного отображения не означает, что математика в целом является отображением на физику с единственной заранее заданной формой. Также из неинъективности не следует сюръективность. Эти свойства необходимо устанавливать отдельно для каждого формально определённого отображения.

Далее термином «проекция с потерей» обозначается любое преобразование, после которого разные исходные объекты (состояния, модели, описания) выглядят одинаково, так что по результату уже нельзя восстановить, из какого именно объекта он получен. Пример: тень на стене, по ней нельзя точно определить, какой предмет её отбросил.

1.1. Что теряется?

Потеря информации может иметь несколько различных форм.

Эмпирическая потеря. Конечный набор измерений не позволяет различить все математически допустимые модели.

Потери изложения. Человеческое описание сохраняет одни свойства объекта, но опускает другие, поскольку язык и формат изложения ограничены.

Языковая потеря. Любое описание, будь то слова, формулы или принятый формат изложения, сохраняет одни свойства объекта и опускает другие, потому что язык и формат ограничены.

Семантическая потеря. Символьная запись сохраняет формальную структуру выражения, но сама по себе не гарантирует, что смысл обозначений, предпосылок и следствий понят правильно.

Это разные виды потерь. Округление числового значения, недостаточность экспериментальных данных и непонимание доказательства требуют разных методов анализа. Задача в том, чтобы выяснить, можно ли описать эти потери единым математическим языком, не стирая различий между ними.

1.2. Почему это важно

Математическая модель может быть внутренне непротиворечивой и одновременно плохо описывать конкретную физическую систему. Физическая теория может успешно предсказывать наблюдения, но оставаться недостаточной для объяснения других явлений. А корректное доказательство может быть настолько сложным, что его основные идеи долго остаются недоступными большинству ученых.

Следовательно, необходимо различать как минимум три вопроса:

  1. Корректно ли доказано математическое утверждение?
  2. Соответствуют ли исходные предпосылки задаче, которую требуется решить?
  3. Понятно ли, почему результат верен и какие новые выводы из него следуют?

Первый вопрос относится к математической верификации. Второй — к обоснованности постановки и применимости модели. Третий — к пониманию. Между ними есть связь, но ни один из них не заменяет остальные. Непотное доказательство — это то, где на первый вопрос получен ответ «да», а вот ответов на второй и третий вопрос нет.

2. Рекурсия описания и тройная проекция

Искусственный интеллект добавляет к ранее существовавшим переходам ещё одну сферу представления. Для анализа вводится следующая схема:

Mall → (отбор) → Mknown → (описание) → Thuman → (обучение) → Pmodel

Здесь:

  • Mall — условное обозначение совокупности математических структур, которые в принципе можно рассматривать.
  • Mknown — та часть этих структур, которую люди выделили, сформулировали и исследовали. В частности, сюда входят структуры, отобранные для описания физических явлений;
  • Thuman — человеческие тексты (в том числе формальные), содержащие математические определения, доказательства и объяснения;
  • Pmodel — статистическое представление закономерностей таких текстов, сформированное при обучении модели.

На каждом переходе часть информации не попадает на следующий уровень:

  • Отбор. Структуры, которые не были замечены или не были сочтены значимыми, остаются за пределами Mknown.
  • Описание. Текст, как правило, сохраняет формулировки и логику рассуждения, но не весь путь поиска: интуицию, отброшенные варианты, причины выбора метода.
  • Обучение. Модель усваивает закономерности, присутствующие в текстах, но не сами математические объекты. Нет гарантии, что усвоенное представление сохраняет различия, существенные для корректности.

Строго говоря, не каждый из этих переходов является проекцией в смысле определения из раздела 1: отбор — это сужение совокупности, а не слияние различимых объектов. Общее свойство переходов можно выразить точнее в идеализированной постановке. Если рассматривать перечисленные объекты как случайные величины и считать, что каждый следующий зависит только от предыдущего, то по неравенству обработки данных информация об исходных структурах не может возрастать от перехода к переходу:

I(Mall; Pmodel) ≤ I(Mall; Thuman) ≤ I(Mall; Mknown),

где I(·;·) — взаимная информация. Реальные процессы этому условию не удовлетворяют: люди и модели обращаются к дополнительным источникам, поэтому неравенство описывает идеализацию, а не реальную систему. Оно также говорит только о количестве информации об исходном объекте и ничего не утверждает о способности делать из этой информации новые выводы.

Схема концептуальна и не описывает реальные процессы буквально. Отбор, написание текстов и обучение моделей взаимодействуют друг с другом и не образуют линейной последовательности. В частности, цепочка может замыкаться. Обозначим Tmachine тексты, созданные моделями или с их существенным участием; к ним относятся, например, рукописи, опубликованные OpenAI 6 октября 2026 года и содержащие результаты, полученные моделью [1]. Если такие тексты входят в общую математическую литературу, на которой обучаются следующие модели, то результат работы модели возвращается в материал, из которого учатся модели. Именно это обозначено словами «рекурсия описания». Насколько существенен такой эффект для математики, ещё предстоит выяснять: схема лишь фиксирует его возможность.

Схема позволяет сформулировать гипотезу: машинное представление математического текста не тождественно математическому объекту, о котором этот текст сообщает.

Языковая модель обучается на представлениях математических объектов: формулах, текстах, доказательствах, примерах, описаниях и связях между символами. Эти материалы позволяют модели решать математические задачи, но не гарантируют, что каждый сгенерированный результат корректен.

При этом было бы ошибкой считать, что статистическое обучение принципиально исключает математическое рассуждение. Способность модели строить корректные цепочки вывода может возникать именно благодаря усвоенным закономерностям. Вопрос не в том, может ли статистически обученная система рассуждать, а в том, какие гарантии корректности и понимания можно получить для конкретного результата.

Проблема появляется, когда убедительность представления принимается за свидетельство его истинности. Если на каждом уровне преобразования существуют ограничения, которые не обозначены явно, последующий пользователь может не знать, какая информация была сохранена, какая отброшена и какие предпосылки необходимо проверить дополнительно.

Это не доказывает неизбежность ошибки. Но это задаёт конкретную исследовательскую программу: описать преобразования, определить типы потерь и выяснить, какие из них влияют на корректность, проверяемость и объяснительную ценность результата.

3. Три примера осязаемого разрыва

3.1. Случайность

Математическая случайность, физический источник случайности и статистически выглядящая случайная последовательность — разные понятия.

Псевдослучайный генератор создаёт последовательности с нужными статистическими свойствами, хотя они полностью определяются алгоритмом и начальным значением. В строгом смысле алгоритмической случайности такая последовательность случайной не является: её можно задать коротким описанием. Физический источник (например, тепловой шум) может использоваться для получения данных, не определяемых алгоритмом.

Языковая модель не образует в этом ряду отдельного третьего случая, а надстраивается над первым. При генерации она вычисляет распределение вероятностей следующего элемента, а выбор из него выполняет псевдослучайный генератор. Начальное значение может быть получено из физического источника, но дальнейшая последовательность остаётся псевдослучайной. Различие в другом: генератор проектируется и проверяется на статистические свойства, а распределение модели определяется обучающими текстами. Поэтому сходство её ответов со случайными является побочным результатом, и на просьбу назвать случайное число она, как правило, отвечает неравномерно.

Утверждение, что модель «не имеет доступа к случайности», было бы слишком сильным. Корректнее спросить, какие механизмы случайности используются в конкретной системе и какие свойства её выходных последовательностей можно подтвердить.

В терминах проекций с потерей задача состоит в исследовании того, какая информация о механизме генерации сохраняется в наблюдаемом результате и какую невозможно восстановить по одному этому результату.

3.2. Бесконечность

Математическое понятие бесконечности не сводится к очень большому конечному числу. Например, ℵ0 обозначает мощность счётного бесконечного множества. Это не числовая характеристика, которую можно подставлять в арифметические операции с обычными конечными числами без уточнения математического контекста.

Аналогичная осторожность требуется при работе с бесконечными рядами. Ряд может расходиться в обычном смысле, но при использовании специально определённого метода суммирования ему иногда сопоставляют конечное значение. Такое значение иногда путают с обычной суммой сходящегося ряда.

Языковые модели способны решать задачи о бесконечности, однако могут смешивать различные понятия или применять неподходящие правила. Это проверяемая характеристика их поведения, а не основание утверждать, что все модели неспособны отличать бесконечность от большого числа.

В терминах проекций с потерей вопрос формулируется точнее: сохраняются ли различия между бесконечностью и большим конечным числом, между обычной суммой ряда и значением, сопоставленным ему специальным методом суммирования, при переходе от формального определения к тексту, а затем к машинному выводу?

3.3. Время

В архитектуре трансформера положение элемента в последовательности задаётся специальными позиционными представлениями, то есть модель получает информацию о порядке элементов. Но порядок элементов в тексте — это ещё не время описываемых событий и не причинная связь между ними. Отсюда может возникнуть предположение, что модель способна работать только с порядком символов и не способна работать с временными отношениями и причинностью. Из устройства трансформера, однако, такой вывод не следует. Нужно различать три вещи:

  • порядок элементов в последовательности;
  • временной порядок событий в описываемой системе;
  • причинную зависимость между событиями.

Они могут совпадать, но не обязаны. То, что одно предложение стоит раньше другого, ещё не доказывает, что описанное в нём событие стало причиной последующего.

Модель может усваивать закономерности временного и причинного рассуждения, но устойчивость таких навыков требует отдельной проверки. Концепция проекций с потерей предлагает исследовать, какая информация о времени и причинных связях сохраняется при преобразовании событий в последовательность символов и при последующем машинном анализе.

4. Как заполняется разрыв

Когда информации не хватает, разрыв впробел чем-то заполняется. Человек заполняет его интуицией, аналогией, опытом и объяснительными моделями. Языковая модель заполняет его продолжением, правдоподобным с точки зрения усвоенных закономерностей. Оба способа могут давать верный результат, и оба могут ошибаться: интуитивно убедительное объяснение оказывается неверным, а уверенность человека не соответствует его компетентности; правдоподобный ответ модели оказывается неправильным.

Существенно не то, кто ошибается чаще, а то, что в обоих случаях заполнение происходит незаметно. В готовом результате не видно, какая его часть установлена, а какая достроена. Если читатель не может отличить одно от другого, он не может решить, что требует дополнительной проверки.

Поэтому необходимо различать две способности: сообщить о незнании и достоверно определить, когда ответ ошибочен. Первая может быть реализована технически, например отказом отвечать или обращением к внешним проверяющим инструментам. Вторая требует проверки калибровки, надёжности и устойчивости на конкретных задачах. Далее рассматривается, как формально различать состояния знания.

4.1. Статус «не определено»

В математике существуют строгие способы обозначать отсутствие определённого значения, недопустимость операции или невозможность получить результат в заданной системе. Однако символы вроде ∅, NaN и логических значений не взаимозаменяемы: они обозначают разные типы объектов или состояний.

Поэтому универсальная формализация незнания не должна сводиться к введению одного нового символа. Она должна определять, почему результат недоступен, какие проверки были выполнены и какие условия необходимы для дальнейшего вывода.

Можно выделить несколько разных ситуаций:

  1. Утверждение доказано.
  2. Утверждение опровергнуто.
  3. Доказательства недостаточно.
  4. Постановка задачи неоднозначна.
  5. Вычислительная процедура не завершилась.
  6. Результат не удалось проверить в доступной формальной системе.

Эти состояния имеют разный смысл. В частности, отсутствие найденного доказательства не означает ложности утверждения, а отсутствие опровержения не означает его истинности. Исследовательская задача заключается в разработке способов, позволяющих системам явно различать эти состояния и не выдавать неподтверждённый вывод за проверенное знание.

5. Верификация: что подтверждает компьютер?

Одна из главных ошибок в обсуждении искусственного интеллекта — смешение генерации доказательства с его проверкой.

Система Lean предназначена для формализации математики и проверки доказательств. Её ядро проверяет формальные объекты доказательства в рамках заданной системы типов и формальных предпосылок [3]. Это существенная гарантия: если доказательство корректно проверено, основание доверять его формальной корректности значительно сильнее, чем при одной лишь оценке убедительности текста на естественном языке.

Но и здесь необходимо уточнение. Формальная проверка подтверждает вывод относительно формализованных определений, предпосылок и правил. Она сама по себе не гарантирует, что формализация точно соответствует первоначальной задаче, что все необходимые предпосылки разумны или что текст на естественном языке, сопровождающий доказательство, не содержит ошибок. Именно поэтому OpenAI публикует и рукописи, и Lean-формализации, и именно поэтому вопрос о соответствии одного другому остаётся открытым для каждого отдельного результата.

Поэтому нужно разделять как минимум четыре уровня:

Уровень 1. Синтаксическая корректность. Запись соответствует требованиям используемого языка.

Уровень 2. Формальная выводимость. Утверждение доказуемо из заданных предпосылок по правилам формальной системы.

Уровень 3. Соответствие исходной задаче. Формализованное утверждение действительно выражает то, что исследователь хотел доказать.

Уровень 4. Математическое понимание. Исследователь понимает структуру доказательства, его ключевые идеи, ограничения и возможные следствия.

Эти уровни связаны, но не тождественны. Токсичное доказательство — это результат, надёжно проверенный на уровнях 1–2 и не освоенный на уровнях 3–4.

Публикация OpenAI от 6 октября 2026 года важна тем, что в ней присутствуют результаты с разной степенью формализации, а сама компания говорит о необходимости улучшать изложение и способы представления результатов [1]. Формальные проверки не бесполезны, напротив, они являются одним из главных инструментов решения проблемы. Вопрос в том, как встроить их в более широкую систему контроля качества математического знания.

6. Семь задач математики

Ниже перечислены семь направлений, в которых можно проверить продуктивность концепции проекций с потерей.

Задача 1. Проекций с потерей

Необходимо определить формальный язык для описания преобразований, при которых различные исходные объекты становятся неразличимыми на последующем уровне представления. Для каждого преобразования следует определить:

  • исходное и целевое пространства;
  • критерий различимости;
  • вид сохраняемой информации;
  • вид утрачиваемой информации;
  • условия, при которых потеря обратима или необратима.

Затем нужно выяснить, можно ли определить подходящие меры потери для конкретных классов моделей. Универсальная «метрика разрыва» не может считаться готовой до определения пространства объектов и способа сравнения.

Задача 2. Конечная различимость

Конечная точность измерения, ограниченность данных и конечное представление чисел влияют на то, какие различия можно обнаружить на практике. Но математические структуры не обязаны становиться конечными из-за ограничений наблюдения. Поэтому задача состоит не в замене существующей математики новой «математикой конечной точности», а в разработке формальных средств, связывающих идеальные объекты с ограниченными процедурами измерения и вычисления.

Особое внимание следует уделить тому, как эти ограничения влияют на выбор модели, оценку ошибки и допустимость вывода.

Задача 3. Причинность, время и последовательность

Необходимо разработать методы, позволяющие формально различать порядок символов, порядок событий и причинные зависимости. Это направление должно опираться на существующие теории временных моделей, причинного вывода и формальных систем, а не исходить из предположения, что причинность принципиально недоступна вычислительным моделям.

Проверяемый результат здесь — критерии, показывающие, когда модель правильно различает временную последовательность и причинную связь, а когда подменяет одну другой.

Задача 4. Регуляризация

Регуляризация в статистике и машинном обучении позволяет ограничивать множество решений, предпочитать определённые классы моделей или снижать риск переобучения. Её можно рассматривать как один из механизмов выбора между представлениями, согласующимися с данными. Но регуляризация, обучение с обратной связью и эмпирический отбор физических моделей — разные процедуры.

Исследовательская задача состоит в том, чтобы определить, как различные механизмы отбора влияют на сохраняемую информацию и какие свойства исходных моделей перестают быть доступными после такого отбора.

Задача 5. Формализация незнания

Необходимо разработать систему состояний, которая различает доказанную корректность, опровержение, недостаток данных, неоднозначность постановки и невозможность завершить проверку, и связать её с существующими методами формальной верификации, оценивания неопределённости и калибровки вероятностных прогнозов.

Главный критерий успеха — не способность системы произносить фразу «не знаю», а способность надёжно различать ситуации, в которых её вывод подтверждён, не подтверждён или опровергнут.

Задача 6. Ошибки в многослойных системах

Пусть последовательность преобразований описывается композицией

F = Fn ∘ Fn−1 ∘ … ∘ F1

Если каждый этап вносит ошибку, необходимо определить, при каких условиях ошибка итогового результата остаётся ограниченной, а при каких накапливается или усиливается. Для этого потребуются конкретная модель ошибки, метрика или иной критерий отклонения и условия на преобразования Fi. В разных системах могут потребоваться разные определения: численная погрешность, вероятность неверного ответа, нарушение логического вывода или потеря существенной информации.

Цель — получить проверяемые условия, позволяющие оценивать надёжность всей цепочки, а не только отдельных её компонентов.

Задача 7. Математики как производство понимания

Математика создаёт ценность не только благодаря количеству доказанных утверждений. Она также развивает понятия, методы, объяснения, связи между теориями и новые направления исследования.

Тао в октябре 2026 года указал, что производство результатов может опережать человеческое понимание их содержания, и предложил пересмотреть систему стимулов в математике [2]. Это не означает, что машинные доказательства бесполезны: они могут освобождать исследователей от рутинной работы и открывать новые возможности.

Однако необходимо развивать критерии качества, которые не сводятся к числу полученных результатов. Среди них — понятность доказательства, возможность независимой проверки, раскрытие использованных предпосылок, корректное цитирование предшествующей работы и способность результата порождать новые математические идеи.

Задача состоит не в защите математики от автоматизации, а в том, чтобы автоматизация не подменяла собой цели математического исследования.

7. Почему именно сейчас

До массовой генерации математических результатов проблема разрыва между корректностью, пониманием и применимостью существовала в более ограниченном масштабе. Новые системы изменили соотношение между скоростью производства результатов и ресурсами, необходимыми для их анализа.

В математике это создаёт проблему научной коммуникации и оценки вклада. Часть сообщества воспринимает публикацию сотен результатов за один раз как вызов самим нормам научной работы. Именно так её оценила AHM [4], хотя другие участники обсуждения придерживаются противоположных взглядов. Как бы ни разрешился этот спор, он показывает, что вопрос о том, чем является результат без понимания, перестал быть только философским.

В прикладных областях возникает дополнительный риск. Тао отмечает, что сложные модели, созданные с помощью ИИ, уже в некоторой мере используются при решении вопросов о выдаче банковских кредитов и оценке финансовых рисков, и если их сложность опередит способность людей понимать, когда они дают сбой, вероятность непредвиденных ошибок вырастет, а последствия затронут общество [2]. Это не означает, что любой сложный алгоритм опасен или что неполное понимание автоматически делает модель ненадёжной. Надёжность зависит от конкретных условий применения, доступных проверок и последствий ошибки.

Но чем выше цена ошибки, тем важнее различать эмпирическую успешность, формальную корректность и понимание ограничений системы. Здесь концепция проекций с потерей может стать полезной, если позволит формально описывать переходы между уровнями представления, находить критические места и оценивать, какие именно ограничения влияют на итоговый результат.

8. Измерить разрыв, а не объявить его непреодолимым

Математика не обязана полностью совпадать с физической реальностью, чтобы быть полезной для её описания. Формальная система не обязана содержать человеческое понимание в том же смысле, в каком оно существует у исследователя, чтобы производить корректные доказательства. А статистически обученная модель не обязана быть безошибочной, чтобы помогать в решении математических задач.

Поэтому вопрос не в том, может ли искусственный интеллект заниматься математикой. Практика уже показывает, что он способен производить результаты, требующие серьёзного анализа, и участвовать в построении формальных доказательств.

Вопрос в другом: какие гарантии можно получить на каждом этапе перехода от постановки задачи к результату, от результата к доказательству и от доказательства к человеческому пониманию?

Концепция проекций с потерей рассматривает эти переходы как самостоятельный предмет исследования. Её ценность определяется не широтой философских формулировок, а тем, удастся ли построить формальные модели, получить проверяемые следствия и показать преимущество перед существующими методами. Если это удастся, будет получен не универсальный ответ на все ошибки искусственного интеллекта, а более точный инструмент анализа границ знания.

Главной задачей математики в эпоху массовой генерации доказательств представляется не простое увеличение числа результатов, а возможность установить, что доказано, на каких основаниях, в каких пределах и с каким новым пониманием.

Источники

[1] OpenAI. Sharing AI progress in mathematics. 6 октября 2026 года. Официальное описание публикации математических результатов, формализаций в Lean и мер по улучшению научного изложения.
https://openai.com/index/sharing-ai-progress-in-mathematics/

[2] Terence Tao. Can maths survive AI? Fields medallist Terence Tao calls for a ‘Maths 2.0’ world. Nature, 22 октября 2026 года (World View). Авторская колонка о скорости машинного производства доказательств, отставании человеческого понимания, ясности изложения и атрибуции.
https://www.nature.com/articles/d41586-026-03389-1

[3] The Lean Language Reference. Официальная документация языка Lean. Описание формальной системы, ядра проверки доказательств и механизмов автоматизации.
https://lean-lang.org/doc/reference/latest

[4] Association for Human Mathematics, Communications Working Group. AHM Statement on OpenAI’s October 6 Release of Mathematical Documents. 7 октября 2026 года. Гостевой пост на блоге Теренса Тао; отражает позицию AHM, а не автора блога.
https://terrytao.wordpress.com/2026/10/07/ahm-statement-on-openais-october-6-release-of-mathematical-documents/

Цифровое творчество Личный блог: 8 930 Р. Полезный и необходимый подарок себе любимому / любимой.
Или родным и близким.
Подробнее

Earthquakes can be predicted.

Earthquakes must be predicted.

Small donationTHANK YOU