mipt_d2_paper_guide
МФТИ D2: Гид по поиску статей для студентов
Феанор, 2026-03-15 (ночной worker — подготовка к сессии 16 мар)
Шпаргалка для Даниила: использовать на консультациях (Часть 4, 60 мин)
Студент называет тему → сразу выдать 2-3 точки входа.
Как найти статьи (общий алгоритм, 5 мин)
- arxiv.org → поиск по
[метод] [задача]→ раздел cs.LG или math.OC - Connected Papers (
connectedpapers.com) → ввести одну известную статью → snowball - Papers With Code (
paperswithcode.com) → найти метод, SOTA, репозиторий - Google Scholar → цитирования ключевой статьи → новые работы
Семинальные статьи по темам (D2 точки входа)
Первый порядок — базовые методы
| Метод | Статья (точка входа) | Результат |
|---|---|---|
| GD / PGD | Nesterov (2004) “Introductory lectures on convex optimization” (книга) | O(1/k) выпуклый, O((1-μ/L)^k) SC |
| SGD | Bottou (2010) “Large-Scale Machine Learning with SGD” | O(1/√k) стохаст. |
| ISTA/FISTA | Beck & Teboulle (2009) “A Fast Iterative Shrinkage-Thresholding Algorithm”, SIAM J. Imaging Sci. | O(1/k²) с momentum |
| Coordinate Descent | Friedman, Hastie, Tibshirani (2010) “Regularization Paths for GLMs”, JRSS-B | O(np) на итерацию |
Ускоренные методы
| Метод | Статья | Результат |
|---|---|---|
| Heavy Ball | Polyak (1964) “Some methods of speeding up the convergence…” | оптим. для квадратичных |
| Nesterov AGD | Nesterov (1983) или Nesterov (2004) | O(1/k²) выпуклый |
| AdaGrad | Duchi, Hazan, Singer (2011) “Adaptive Subgradient Methods…”, JMLR | адаптивный шаг, sparse |
| Adam | Kingma & Ba (2015) “Adam: A Method for Stochastic Optimization”, ICLR | практик. ML |
Проксимальные и расщепляющие методы
| Метод | Статья | Задача |
|---|---|---|
| ADMM | Boyd et al. (2011) “Distributed Optimization and Statistical Learning via ADMM”, Found. Trends | f(x)+g(z), consensus |
| Douglas-Rachford | Combettes & Pesquet (2011) “Proximal Splitting Methods…”, в сб. Fixed-Point Algorithms | сумма двух операторов |
| Frank-Wolfe | Jaggi (2013) “Revisiting Frank-Wolfe: Projection-Free Sparse Convex Optimization”, ICML | со скидками, ядра |
| PDHG/Chambolle-Pock | Chambolle & Pock (2011) “A First-Order Primal-Dual Algorithm…”, J.Math.Im.Vis. | sedlo-точки |
По типу ML-задачи
| Задача | Метод | Точка входа |
|---|---|---|
| LASSO / sparse regression | ISTA, CD, ADMM | Tibshirani (1996) “Regression Shrinkage and Selection via LASSO”, JRSS-B |
| Logistic regression | SGD, L-BFGS | Zou & Hastie (2005); или sklearn docs с benchmarks |
| Matrix factorization (рекомендации) | ALS, SGD | Koren et al. (2009) “Matrix Factorization Techniques for RS”, IEEE Computer |
| Neural networks / deep learning | SGD, Adam, AdaGrad | Goodfellow et al. (2016) “Deep Learning” глава 8 |
| SVM | SMO, sub-gradient | Platt (1998) “Sequential Minimal Optimization”, Scholkopf & Smola (2002) |
| Optimal Transport | Sinkhorn | Cuturi (2013) “Sinkhorn Distances: Lightspeed Computation of OT”, NeurIPS |
| Tensor decomposition | ALS, HOSVD | Kolda & Bader (2009) “Tensor Decompositions and Applications”, SIAM Review |
Как найти код (для baseline)
- Papers With Code → ввести название метода → “Implementations” tab
- GitHub →
[method name] pythonили[method] pytorch - sklearn → если классический ML (Ridge, Lasso, SVM, etc.)
Типичные ситуации на консультации
“Не знаю что взять как baseline” →
- Взять самый простой метод для своей задачи (GD или SGD)
- Или sklearn baseline (LinearRegression, Ridge, LogisticRegression)
- Baseline = “что сделает стандартный специалист без оптимизации”
“Статьи есть, но не понимаю как связать с задачей” →
- Сформулировать: “Мой метод — это модификация X из [статья], потому что…”
- Или: “Метод из [статья] решает похожую задачу, но мы добавляем Y”
“У меня нет датасета” →
- Синтетические данные: np.random.randn, sklearn make_regression/make_classification
- UCI ML Repository, Kaggle (простые датасеты)
- MNIST/CIFAR если deep learning
“Baseline не запускается” →
- Это хорошая задача: разобраться → записать что не работает и почему → это тоже исследование
- Upd: отчёт должен объяснять трудности воспроизведения (рубрика учитывает попытку)
Напоминание про D2 чеклист
✅ Related Work: 3+ статьи, конкретные результаты, связь с задачей
✅ Baseline: чужой алгоритм, запускаемый код, числа в report.md
✅ Формат ссылок: [Авторы, YYYY, arxiv:XXXXXXX]
✅ Инструкции запуска: python baseline.py или notebook cell
Рубрика полная: /root/Strategy/projects/files/mipt/mipt_d2_evaluation_rubric.md