Пилотный эксперимент на Gemma 4 Kaggle Hackathon 2026

Gemma 4 Kaggle Hackathon 2026 проходил с 3 апреля по 19 мая 2026 года. Цель - создать решения на базе мультимодальных моделей Gemma 4 для решения реальных мировых проблем. Стартап TRON участвовал в направлении Global Resilience (глобальная устойчивость) - создание систем для прогнозирования и реагирования на катастрофы. Участвовало 1,610 команд из 14,523 зарегистрированных участников. Автор технологии TRON, Борис Д. Яровой выступал как соло-команда из одного человека, самостоятельно написав весь программный код для пилотного эксперимента.

Гипотеза

Мультимодальные нейросети, такие как Gemma 4 от Google DeepMind, могут выявлять изменения в поведении животных, анализируя видеозаписи. Это позволяет перейти от наблюдения за животными людьми к полностью автоматизированной системе.

Почему Gemma 4

Мультимодальная модель Gemma 4 способна работать с видео в режиме zero-shot (без дообучения). Это позволяет обходить ограничение в виде отсутствия размеченных датасетов поведения животных перед землетрясениями.

Как работал пилотный эксперимент

Пайплайн, протестированный на коротких видео:

    
      Видео → ffmpeg (кадры) → OpenCV → Gemma 4 → JSON вердикт
    
  

Результаты тестов

• 🐘 Слоны (землетрясение, YouTube) → 🔴 АНОМАЛИЯ (высокая уверенность)
• 🐱 Кошка (норма, YouTube) → 🟢 НОРМА (уверенность 1.0)
• 🐻 Медведь (землетрясение, YouTube) → 🔴 АНОМАЛИЯ (уверенность 1.0)

Результат: 3 из 3 правильных детекций (100%). Пилот корректно определил аномалию в поведении медведя даже при сильной тряске камеры во время землетрясения.

Ограничения пилота

• Маленькая тестовая выборка (3 видео) — только доказательство концепции.
• Нет потокового вещания в реальном времени — только предзаписанные видео.
• Отсутствует аналитический слой, коррелирующий поведенческие аномалии с сейсмическими данными.

Заключение

Данный пилотный эксперимент показывает, что мультимодальные модели могут корректно классифицировать поведение животных как нормальное или аномальное в режиме zero-shot, без дообучения, на любых видах.

Открыть Kaggle Notebook

Репозиторий проекта