Новые складчины | страница 3

​

Полный курс по Angular 21 и созданию полноценных SPA приложений

После прохождения курса вы сможете:
- Создавать проекты на Angular
- Создавать компоненты, директивы, пайпы
- Понимать и использовать привязки данных
- Использовать условные конструкции For, @if
- Использовать жизненные циклы компонентов
- Понимать и использовать Dependency Injection
- Создавать сложную маршрутизацию приложения, Guards
- Использовать RxJS и сигналы в компонентах Angular
- Работать с формами
- Взаимодействовать с API

Минимальные требования:
Знание JavaScript, Знание TypeScript, Знание HTML и CSS

В этом курсе мы изучим Angular, создавая приложение для работы с криповалютой. Этот курс идеально подойдёт тем, кто уже знаком с основами HTML, CSS и JavaScript и готов начать работать с одним из популярных frontend фреймворков — Angular. Если вы уже имеете опыт работы с другими JavaScript фреймворками, этот курс поможет вам быстро освоить Angular и его экосистему.

Курс ориентирован на практическое освоение, и весь теоретический материал будет подкреплён реальными задачами. Вместо стандартных примеров, мы будем работать с настоящими API и создавать компоненты и сервисы, которые имитируют реальные сценарии. В процессе мы подробно изучим Dependency Injectioin, роутер и напишем простой стор для хранения данных. Также в курсе предусмотрено множество упражнений, которые помогут вам углубить понимание технологий и доработать проекты, созданные на занятиях.

Программа
Курс построен таким образом, чтобы доносить материал от простого к сложному.
1. Введение в Angular
2. Настройка окружения
3. Основы Angular
4. Маршрутизация
5. Директивы
6. Пайпы
7. Работа с данными
8. Сервисы, внедрение зависимостей
9. Работа с формами
10. Http и взаимодействие с сервером
11. Заключение

​

Практический онлайн-митап для тех, кто не ждет отмены ограничений, а ищет реальные способы внедрения нейросетей в бизнес уже сегодня. Это вторая встреча серии, полностью посвященная обходу блокировок и стабильной работе с зарубежными ИИ-сервисами из РФ.

11 апреля Онлайн

Автор и организатор: Олег Филиппов — эксперт с 15-летним опытом в IT, CEO стартапа EmplDocs и создатель проекта OneRPA. Специализируется на ERP-системах, финансах и автоматизации. Ведет профессиональный канал «IT Does Matter».

Программа митапа:
— Белые списки: Инструкции по жизни и работе с нейросетями в условиях максимально жестких санкционных ограничений.
— Блокировки аккаунтов: Детальный разбор реальных кейсов блокировок со стороны ИИ-вендоров. Анализ причин, последствий и методов их предотвращения.
— Доступ к ресурсам: Актуализация классических методов доступа к необходимым ИИ-инструментам с опорой на новые вводные 2025 года.

Важные особенности мероприятия:

1. Митап носит закрытый характер: детальной программы и тезисов докладов в открытом доступе не будет.
   
2. Записи будут доступны только на защищенной платформе (возможно, не в полном объеме) в целях соблюдения законодательства РФ.
   
3. Информация, обсуждаемая на встрече, является эксклюзивной и не подлежит открытой публикации.

​

Научись разрабатывать высокопроизводительные, масштабируемые микросервисы, как в ВК, Yandex, OZON, СБЕР, Тинькофф, и увеличь свои шансы на трудоустройство в BigTech или повышение грейда

Курс адаптирован под частые проблемы backend-a, которые встречаются на работе

• Перехожу на Go — хочу быстро адаптироваться и не писать как на старом языке
  
  Узнаешь все необходимое про внутрянку Go и микросервисную архитектуру: HTTP, OpenAPI, gRPC, Kafka, Redis, Postgres, Prometheus, Grafana, Jagger, Elasticsearch, Kibana, Envoy, OpenTelemetry и др., чтобы сменить стек без потери в ЗП и сразу работать на интересных проектах.
  
  
• Пишу на Go, но застрял в типовых задачах — хочу расти дальше
  
  Узнаешь лучшие практики, нюансы и лайфхаки построения микросервисов, которые применяются в бигтехах, чтобы вырасти из рутины и начать решать сложные инженерные задачи.
  
  
• Хочу уверенно проходить собесы и повысить свой грейд и зарплату
  
  Напишешь реальный проект из 5 микросервисов, разберёшься как всё взаимодействует между собой и сможешь уверенно отвечать на вопросы по архитектуре и технологиям на собесах в топовые компании.

Вся подкапотная микросервисов в одном обучении

1. Разработаешь 5 микросервисов, связанных между собой через Kafka и gRPC, с изоляцией от внешнего мира с помощью Envoy Gateway
2. Обеспечишь мониторинг сервиса по стандарту OpenTelemetry с юнит-тестами, чтобы исключить ошибки в работе
3. Освоишь кеширование данных с помощью Redis и асинхронное взаимодействие между микросервисами с помощью Kafka
   
4. Освоишь работу с PostgreSQL, напишешь свою платформенную библиотеку, упрощающую разработку
5. Реализуешь межсервисное взаимодействие, систему аутентификации и авторизации
6. На практике научишься применять архитектурные подходы построения микросервисов

Спойлер: Программа курса

8 недель. 5 микросервисов. Production-ready стек.

Неделя 1

HTTP и gRPC: два протокола, которые должен знать каждый Go-разработчик

Блок 1: gRPC — язык, на котором говорят микросервисы

• Protocol Buffers с нуля — описываем контракт сервиса в ".proto"-файле
• buf — генерируем Go-код одной командой вместо ручной возни с `protoc`
• Поднимаем gRPC-сервер и клиент — полноценный CRUD для управления данными
• Интерцепторы: перехватываем каждый запрос — логирование, перехват паник и кастомная логика
• gRPC-Gateway + Swagger UI — один сервис, два протокола: REST снаружи, gRPC внутри
• Валидация входных данных — отсекаем невалидные запросы ещё до попадания в бизнес-логику

Блок 2: HTTP — REST API на промышленном уровне

• Chi — самый популярный Go-роутер — маршруты, цепочки middleware, таймауты и корректное завершение работы
• Сначала контракт, потом код — описываем OpenAPI-спецификацию, получаем типизированный сервер с валидацией из коробки через Ogen
• HTTP вызывает gRPC — связываем сервисы между собой: HTTP-фронтенд обращается к gRPC-бэкенду

Блок 3: Go Workspace — мультимодульный проект

• go.work для нескольких сервисов — общие proto-определения, общие зависимости, единый репозиторий

Домашнее задание

• Реализовать 3 микросервиса: OrderService (HTTP), InventoryService (gRPC), PaymentService (gRPC). Связать их через gRPC-клиенты — заказ обращается к складу и платёжке.

Результат недели

• Ты с нуля напишешь 3 работающих сервиса на двух протоколах, освоишь кодогенерацию API из контрактов и научишься связывать микросервисы между собой. Это фундамент, на котором строится всё остальное.

​

Неделя 2

Clean Architecture и тесты: пишем код, как в BigTech-компаниях

Блок 4: Слоистая архитектура — структура, которую поймёт любой разработчик

• API → Service → Repository → Client — чёткое разделение ответственности
• Три модели данных — модель API, доменная модель, модель хранилища: зачем их разделять и как конвертировать между собой
• Инверсия зависимостей — интерфейсы определяет тот, кто использует, а не тот, кто реализует
• Стратегия обработки ошибок — единые ошибки-маркеры на каждом слое, понятная цепочка от базы до клиента

Блок 5: Unit-тесты — от нуля до полного покрытия за 7 шагов

• Первый тест на чистом Go** — `testing.T`, никаких фреймворков
• Табличные тесты — один тест, десять сценариев: описываем входы и ожидаемые результаты
• testify — читаемые проверки вместо ручных `if err != nil`
• Стабы: подменяем зависимости вручную — простая реализация в памяти вместо реальной базы
• mockery — генерируем моки автоматически — задаём ожидания, проверяем вызовы
• Тесты в Clean Architecture — мокаем репозиторий, тестируем бизнес-логику изолированно
• Параллельные тесты — запускаем тесты одновременно и не ловим гонки

Домашнее задание

• Рефакторинг всех 3 сервисов в Clean Architecture. Unit-тесты с моками на сервисный и API-слой. Покрытие ≥40%.

Результат недели

• Код разложен по чётким слоям — бизнес-логика отделена от транспорта и хранилища. Любой новый разработчик откроет проект и сразу поймёт, где что лежит. Тесты с моками ловят баги до продакшена, а не после

​

Неделя 3
Docker и PostgreSQL: сервисы обретают настоящее хранилище

Блок 6: Docker — упаковываем сервис в контейнер

• Многоэтапная сборка Docker-образа — 800 МБ Go SDK превращаются в 10 МБ финальный образ
• Запуск не от root — безопасно, как требуют в продакшене
• Docker Compose — база данных, миграции и сервис поднимаются одной командой
• Healthcheck и зависимости — контейнеры стартуют в правильном порядке

Блок 7: PostgreSQL — SQL на Go без боли

• pgx — самый быстрый драйвер для PostgreSQL с пулом соединений (переиспользуем подключения, а не создаём новые на каждый запрос)
• Squirrel — SQL-конструктор — собираем запросы программно, без склейки строк
• Миграции через Goose — версионируем схему базы, накатываем изменения при деплое
• Практические приёмы — получаем ID сразу при вставке, работаем с nullable-полями, избегаем SQL-инъекций

Блок 8: Транзакции — атомарность без компромиссов

• Transaction Manager — оборачиваем несколько операций в транзакцию, не протаскивая объект транзакции через все слои
• Прозрачные транзакции — репозиторий даже не знает, что работает внутри транзакции — всё скрыто в контексте

Домашнее задание

• Поднять PostgreSQL через Docker Compose для OrderService и InventoryService. Написать миграции, заменить хранение в памяти на реальные SQL-запросы. Интегрировать Transaction Manager для атомарного создания заказа

Результат недели

• Хранилище в памяти заменено на PostgreSQL. Ты умеешь поднимать инфраструктуру через Docker Compose, делать миграции, писать запросы и проектировать хранилища. Паттерн Transaction Manager — один из самых частых вопросов на собеседованиях

​

Неделя 4
Конфигурация, DI и Domain-Driven Design

Блок 9: Конфигурация — параметры сервиса без хардкода

• YAML + переменные окружения через cleanenv — один конфиг-файл, переопределения через переменные окружения для каждого стенда
• Профили: local / production / docker — переключаем поведение без изменения кода

Блок 10: DI-контейнер — управление зависимостями без магии

• Ручной DI на Go — создаём зависимости лениво: только когда понадобятся
• Корректное завершение работы — ресурсы закрываются в обратном порядке: что открыли последним — закрываем первым
• Платформенная библиотека — проверка здоровья сервиса, логгер, менеджер закрытия ресурсов: переиспользуемые компоненты для всех сервисов

Блок 11: JSONB — гибкие структуры в PostgreSQL

• JSONB-колонки — храним разнородные данные (характеристики разных типов деталей) в одной колонке без раздувания схемы
• Индексы по JSON — быстрый поиск внутри JSON-структур

Блок 12: Domain-Driven Design — бизнес-логика, которая сама себя защищает

• Сущности с поведением — объекты сами знают свои правила, а не просто хранят данные
• Value Objects — типизированные значения (например, «прочность корпуса»), которые нельзя создать в невалидном состоянии
• Агрегаты — группа связанных объектов с единой точкой входа, которая контролирует целостность данных
• Доменный сервис — проверка совместимости компонентов корабля перед заказом
• Резервирование деталей — Reserve/Release с защитой от невалидных состояний

Домашнее задание

• Внедрить конфигурацию и DI-контейнер во все сервисы. Создать платформенную библиотеку. Реализовать DDD: сущность Part с методами Reserve/Release, Value Objects для свойств компонентов в JSONB, сервис проверки совместимости при заказе

Результат недели

• Сервисы конфигурируются через YAML и переменные окружения, зависимости собираются через DI-контейнер, ресурсы корректно освобождаются при завершении. Бизнес-логика защищена доменной моделью — невалидное состояние невозможно создать в принципе. Ты строишь не просто сервисы, а **платформу** — как это делают в BigTech-компаниях

​

Неделя 5
Kafka: асинхронная коммуникация между сервисами

Блок 13: Apache Kafka — шина событий для микросервисов

• Синхронный и асинхронный продюсер — гарантия доставки каждого сообщения vs максимальная пропускная способность
• Консюмер — читаем поток событий — смещения, партиции, чтение с начала или с конца
• Consumer Groups — горизонтальное масштабирование — несколько экземпляров сервиса делят между собой поток сообщений, автоматически перераспределяя нагрузку
• Обработка сообщений пачками — накапливаем и обрабатываем группой для производительности
• Kafka в Clean Architecture — выделяем слои для асинхронных потоков так же, как для HTTP и gRPC

Блок 14: SELECT FOR UPDATE — блокировки в PostgreSQL

• Блокировка строк при чтении — «заморозить» запись в базе, пока мы с ней работаем, чтобы другой запрос не изменил её параллельно
• Правильный порядок блокировок — всегда блокируем строки в одном и том же порядке, чтобы два запроса не заблокировали друг друга навечно
• Повторная обработка событий без последствий — даже если Kafka доставит сообщение дважды, данные не сломаются

Домашнее задание

• Поднять Kafka. Создать AssemblyService — новый микросервис, который слушает событие оплаты, «собирает корабль» и отправляет событие завершения сборки. OrderService публикует событие при оплате и обновляет статус при получении результата сборки. Блокировка строк для безопасного резервирования деталей.

Результат недели

• Полная асинхронная цепочка: заказ → оплата → сборка → обновление статуса. Четвёртый микросервис (AssemblyService) работает через Kafka. Ты освоил событийную архитектуру — именно так обрабатывают миллионы событий в BigTech-компаниях вроде OZON, Яндекса и Тинькофф

​

Неделя 6
Аутентификация: IAM-сервис и Redis

Блок 15: Redis — быстрое key-value хранилище

• Базовые операции — простые ключи, хеш-таблицы, хранение структур
• Время жизни ключей (TTL) — данные автоматически удаляются через заданное время: идеально для сессий и кеша
• Распределённая блокировка через Redis — когда несколько экземпляров сервиса должны по очереди работать с общим ресурсом
• Защита от лавины запросов — если тысяча пользователей одновременно запросила одно и то же, в базу уходит только один запрос
• Redis в Clean Architecture — кеширующий слой как отдельный репозиторий

Блок 16: Аутентификация на сессиях — от логина до защиты API

• bcrypt — хешируем пароли правильно — почему md5 и sha256 для паролей использовать нельзя
• Сессии в Redis с временем жизни — создание, проверка, удаление
• gRPC-интерцептор для проверки сессий — список открытых методов, извлечение токена из заголовка
• HTTP middleware для аутентификации — проверяем сессию через IAM, пробрасываем ID пользователя в контекст запроса
• Передача информации о пользователе между сервисами — gRPC metadata для пробрасывания идентификатора через цепочку вызовов

Домашнее задание

• Создать IAM Service — пятый микросервис: Register, Login, Logout, Whoami, GetUser. Пользователи в PostgreSQL, сессии в Redis с ограниченным временем жизни. Добавить HTTP middleware в OrderService и gRPC-интерцептор в InventoryService для проверки сессий через IAM.

Результат недели

• Пятый микросервис — полноценный IAM с регистрацией, аутентификацией и хранением сессий в Redis. Каждый запрос проходит проверку — API больше не открыт всему миру. Плюс ты освоил распределённые блокировки и защиту от лавинных запросов — паттерны, которые спрашивают на каждом Senior-собеседовании.

​

Неделя 7
Observability: логи, метрики и распределённые трейсы

Блок 17: Логирование — от println до Kibana

• Структурированные логи через slog + OpenTelemetry — логи отправляются в единый коллектор телеметрии
• Запись сразу в два места — одновременно в консоль и в Elasticsearch, чтобы видеть логи и локально, и в централизованном хранилище
• Kibana — ищем и анализируем логи всех сервисов в одном интерфейсе
• Устойчивость к сбоям — если Elasticsearch упал, сервис продолжает работать и писать логи в консоль

Блок 18: Метрики — Prometheus и Grafana

• Счётчики, гистограммы и другие типы метрик — считаем количество запросов, замеряем время ответа, отслеживаем текущую нагрузку
• Автоматический сбор метрик gRPC — подключается в одну строку, сразу видим latency и количество ошибок
• Prometheus — собирает метрики со всех сервисов через единый коллектор
• Grafana-дашборды — красивые графики бизнес-метрик: заказы, выручка, время сборки

Блок 19: Распределённый трейсинг — видим путь запроса насквозь

• Сквозной идентификатор запроса — один trace-id проходит через все сервисы, позволяя восстановить полный путь
• Автоматический сбор трейсов для gRPC — подключается без изменения бизнес-кода
• Добавляем бизнес-контекст к трейсам — видим не только «запрос прошёл», но и «какой заказ, какой пользователь»
• Jaeger — визуализация полного пути запроса через все сервисы на одном таймлайне
• Инструментация Redis — подключаем трейсы, метрики и логи для каждого вызова кеша через систему хуков

Домашнее задание

• Развернуть полный стек наблюдаемости: коллектор телеметрии, Elasticsearch + Kibana, Prometheus + Grafana, Jaeger. Настроить логи всех сервисов в Kibana. Бизнес-метрики (заказы, выручка) в Grafana. Трассировка полного пути запроса через Order → Inventory → Payment. Вынести инструменты наблюдаемости в платформенную библиотеку.

Результат недели

• Полноценная система наблюдаемости: Grafana с метриками, Kibana с логами, Jaeger с трейсами. Ты видишь каждый запрос от входа до ответа через все сервисы. Это уровень, который отличает Middle от Senior.

​

Неделя 8
Контейнеризация, балансировка и распределённый Rate Limiting

Блок 20:Контейнеризация и Nginx — всё в Docker, балансировка нагрузки

• Многоэтапная сборка Docker-образа для каждого сервиса — сначала компилируем, затем берём только бинарник в минимальный образ
• Docker Compose для всей системы — 5 сервисов + вся инфраструктура поднимаются одной командой
• Nginx как балансировщик — запросы равномерно распределяются между репликами OrderService
• Горизонтальное масштабирование — запускаем несколько копий сервиса, Nginx сам находит их по имени

Блок 21: Паттерны отказоустойчивости — чтобы сервис выжил в продакшене

• Rate Limiter — ограничиваем количество запросов в секунду, чтобы сервис не захлебнулся под нагрузкой
• Retry с нарастающей задержкой — клиент автоматически повторяет запрос при временных сбоях, каждый раз ожидая чуть дольше (плюс случайный разброс, чтобы все клиенты не повторили одновременно)
• Circuit Breaker — если сервис начал падать, автоматически прекращаем к нему обращаться, даём восстановиться, затем аккуратно проверяем: заработал ли
• Распределённый Rate Limiter через Redis — единый лимит на все копии сервиса, настройка лимитов отдельно для каждого метода, если Redis недоступен — пропускаем запросы, а не блокируем

Блок 22: Нагрузочное тестирование — проверяем, что всё работает под давлением

• vegeta — заливаем HTTP-трафиком, замеряем время ответа и пропускную способность
• ghz — то же самое для gRPC, проверяем rate limiter под реальной нагрузкой

Домашнее задание

• Контейнеризировать все сервисы. Собрать единый Docker Compose со всей инфраструктурой. Настроить Nginx для балансировки OrderService на 3 реплики. Реализовать распределённый Rate Limiter через Redis — единый лимит на все экземпляры. Провести нагрузочное тестирование

Результат недели

• Микросервисная система полностью собрана — от API до мониторинга, от аутентификации до балансировки нагрузки. 5 сервисов в Docker-контейнерах за Nginx, распределённый rate limiter защищает от перегрузки, нагрузочные тесты подтверждают работоспособность. Это готовый проект для портфолио и уверенный ответ на любой вопрос собеседования про микросервисы.

​

​

Предмет данного курса - простой, лаконичный, удобочитаемый и кроссплатформенный язык программирования Python. Он используется в разработке веб-приложений, анализе данных, искусственном интеллекте, автоматизации, кибербезопасности и многих других областях - и наша область его применения в данном курсе это анализ данных

В вакансиях технических компаний за последние 3 года Python входит в ТОП-1 требуемых технических навыков в области Data Science и Аналитика Данных

Этот курс - это способ максимально быстро ознакомиться с возможностями Python с точки зрения аналитика (бизнес-пользователя). Он спроектирован так, чтобы в самый короткий строк и без излишеств сделать из новичка уверенного бизнес-пользователя основных возможностей Python для анализа данных

Освещенных в курсе возможностей Python достаточно для решения основных бизнес-задач по извлечению, преобразованию\подготовке, визуализации и анализу данных данных. Обучение заточено не просто на заучивание команд и синтаксиса Python, а и на то, чтобы научить "думать на Python" (т.е., сформировать понимание логики его работы и логики разных конкретных библиотек).

Курс сфокусирован не только и не столько на демонстрацию экрана с кодом в ~200 лекциях, а на практическое освоение языка. Поэтому он насыщен практическими заданиями (более 170 ЗАДАНИЙ!), которые не только отлично прорабатывают лекционный материал, а формируют прикладные навыки использования Python

Курс от профессионала в анализе данных: владеющего навыками от обработки данных в MS Excel (вкл. надстройки семейства Power) и статанализа с предиктивной аналитикой в спецпрограммах (SPSS, JASP, Statistica...) - и до языков и методов Data Science применяемых в разработке систем "искусственного интеллекта" (Python, R).

Создатель курса - автор популярной бизнес -литературы (доступна в крупнейших магазинах: Amazon, Ozon, ЛитРес, Ridero...). В частности, автор одного из русскоязычных бестселлеров в категории "Анализ данных" - книги "Аналитика и Data Science для не-аналитиков и даже 100% гуманитариев", а также одной из первых книг отечественных авторов по работе с компонентом ETL Power Query для Excel и Power BI "Power Query: учебное руководство";

Невзирая на массу современных инструментов визуальных инструментов подключения и извлечения данных из баз - Python популярен не только в среде ИТшников, а и обычных бизнес-пользователей (в первую очередь аналитиков). Это как раз тот навык, потраченное на изучение которого время отличная инвестиция!

Курс не заточен под конкретную предметную область (учет, коммерция, розница, маркетинг, закупки, проекты, кадры, медицина, строительство и т.д.): он формирует чистое понимание, знания и навыки Python для анализа данных - и с этими знаниями Вы, как эксперт в своей собственной предметной области (отрасли, дисциплине, сфере, функции...), сможете легко их применить для решения именно Ваших прикладных задач

Обратите внимание, что курс именно о языке Python для бизнес-пользователей и только под задачи анализа данных: а поэтому в нем НЕ БУДЕТ разбора (а если где-то вдруг будет, то поверхностный минимум достаточного для целей данного курса и без углубления в тему) использование его в таких направлениях, к примеру:

• Web-разработка
• GUI-разработка
• разработка ПО
• ООП (объектно-ориентированного программирования) и понятия классов, связанных с ними объектов, разбора полиморфизма, наследования, абстракции, инкапсуляции
• Статистика и теория вероятности
• и т.д.

Чему вы научитесь

• Основы Python, типов данных и вычислений
• ETL (извлечение, преобразования\подготовка\вычисления и загрузка данных) - Pandas
• Визуализация данных (на основе Pandas под капотом которого Matplot + немного Seaborn и чуточку Plotly)
• Описательные статистики (Pandas)
• Сравнение групп (тесты и проверка гипотез) - Pingouin
• Поиск скрытых связей между переменными - Pingouin
• Классификация объектов, предсказание их принадлежности к определенной группе sklearn
• Анализ временных рядов и прогнозирование будущих трендов - statsmodels.TSA

Для кого этот курс

• Планирующим двигаться в ИТ: будущим программистам, тестировщикам, data science-специалистам...
• Профессионалам любых специальностей (обычным бизнес-пользователям), интересующихся темой анализа данных
• Аналитикам данных любой области \ отрасли

Начальные требования

• Базовое умение устанавливать приложения\ПО на свой ПК следуя инструкциям - для прохождения курса нужно будет установить Anaconda\Jupiter Lab (или как альтернатива уметь самостоятельно пользоваться онлайн инструментами совместимыми с Python)
  
  
• Около5 Гб свободного места на ПК для установки рабочей среды (бесплатной)
  
  
• Навыки базовых операций с файлами в офисных приложениях: умение открывать, сохранять, удалять, переименовывать, копировать\вставлять, вырезать и т.д.
  
  
• Понимание базовых математических операций, правил учета скобок; желательно еще основы текстовых операций, а также работы с датами. Понимание структуры\элементов таблицы (строки, столбцы, различать заголовки столбцов и значения на пересечении строк и столбцов). В идеале ориентировочное знание\понимание табличных вычислений (по столбцу целиком) и преобразований (транспонирование, отмена свертывания\мельтинг, join'ы и union'ы....)
  
  
• Никакой специализированной предварительной подготовки в плане основ программирования или теории вероятности с матстатистикой от студента не требуется - курс реально "с нуля". Важно только желание освоить Python для анализа данных.
  
  
• Желательно понимание структуры файлов\источников данных с которыми Вы работаете на практике (например, что книга Excel содержит внутри Листы; а XML-файл имеет узлы; а SQL база состоит из схем; и т.д.)
  
  
• Желательно знание что такое таблицы и диаграммы (визуализации), и умение их "читать" (как минимум базовые: столбиковые, круговые, графики\линии, точечные)

Спойлер: Программа курса

Введение

1. Пару слов о курсе
2. Просто зашли поинтересоваться?
3. Как мы будем учиться

Знакомство с основами Python, его синтаксисом и мат. логикой

1. О языке Python
2. Популярные рабочие среды для Python
3. Знакомство с Jupyter Labs
4. Работа ячеек и ядра в Jupiter Labs
5. Нумерация и извлечение элементов в Python
6. Основы и особенности написания и оформления кода: синтаксис
7. Типы данных
8. Переменные
9. Динамическая типизация
10. Числовой калькулятор
11. Текстовые вычисления
12. А как дела с датами?
13. Мидквэл-лекция о модулях
14. Операторы сравнения
15. Логические операторы: and, or, not
16. Оператор принадлежности: in \ not in
17. Условные вычисления: if
18. Функции: def
19. Не о Half-Life: lambda-выражения
20. Итоги знакомства: что из этих основ может пригодиться в анализе

Углубление в основы: основные управляющие потоком конструкции

1. Что это за инструкции\конструкции
2. Условное принятие решений: логика if, elif, else
3. Условное принятие решений: паттерны\шаблоны match
4. Комбинация конструкций (на примере match и if)
5. Циклы: for и while
6. Управление\изменение поведения циклов: break и continue
7. Обработчики исключений\ошибок: try...except
8. Управление ресурсами: with (проба работы с файлами)
9. Итоги инструкций контроля потоков выполнения программы

О библиотеках: предназначение, подключения, использования

1. Что такое библиотеки или "забудьте (почти)все что мы учили ранее
2. Массивы и Таблицы
3. NumPy и SciPy для вычислений
4. Pandas и Polars: предназначение, отличия, подключение
5. Matplotlib, Seaborn, Plotly:предназначение, отличия, подключение
6. StatsModels с TSA: предназначение, отличия, подключение
7. ML (scikit-learn) с бустингом (...boost)
8. Вызов подсказок и справок по объектам в библиотеках
9. Библиотечные итоги

Основы для быстрого старта: как это все работает в комлексе

1. Большая картина: врубаемся что вообще происходит
2. Подготовка к написанию кода: подключаем библиотеки
3. Загрузка данных
4. Преобразование: очистка данных
5. Преобразование: добавление новых столбцов
6. Анализ данных: описательные статистики
7. Визуализация данных
8. Анализ данных: аналитическая статистика
9. Итоги раздела

ETL: извлечение, преобразование и загрузка данных

1. Общий процесс работы с данными и место в нем ETL
2. Series, DataFrame, векторные вычисл.(обработка столбцов целиком)
3. Навигация и отбор из датафрейма нужных данных
4. Подключение к csv
5. Подключение к Excel
6. Самостоятельное задание: проба загрузки таблицы из SPSS
7. ДатаФрейм и его Представление в Jupyter
8. Вывод ВСЕХ строк и столбцов
9. Выгрузка только нужных столбцов
10. Мидквел:мастер-класс по базовому пониманию справочных материалов
11. Изменения названий\имен\заголовков столбцов
12. Перемещение\Изменение порядка столбцов
13. Типы данных для столбцов: int, float, datetime, string
14. Выбор столбцов по типу данных
15. Систематизация чтений\подключений
16. Вычисление новых столбцов: числовые столбцы
17. Вычисление новых столбцов: разделение и объединение столбцов
18. Вычисление новых столбцов: текстовые столбцы
19. Вычисление новых столбцов: столбцы с датами
20. Вычисление новых столбцов: условный столбец\перекодировка
21. Вместо условного столбца: разбиение значений на группы (cut)
22. Из одного столбца сделать много столбцов с 0\1
23. Удаление лишних\ненужных столбцов
24. Систематизация работы со столбцами
25. Тест по столбцам
26. Оставление нужных строк сверху\снизу таблицы
27. Удаление лишних\ненужных строк (порядок, дубликаты)
28. Фильтрация\Отбор строк для анализа: условие c | и &
29. Тест по строкам
30. Стратегии работы с пустыми значениями
31. Удаление пустых строк и столбцов
32. Заполнение пустых значений другими значениями
33. Заполнение вниз\вверх
34. Интерполяция "пустышек" во времени (периодичные данные)
35. Комплексные функционалы для АНАЛИЗА пропущенных значений
36. Тест по пропускам
37. Стратегии проверки данных: опечатки, смысл, не тот тип
38. Мидквел-лекция: Основы оконных вычислений
39. Группировка\Агрегирование: понижение гранулярности таблицы
40. Транспонирование DataFrame\таблицы
41. Сводные таблицы (Pivot, Pivot Table, Crosstab)
42. Мельтинг\Отмена свертывания\Unpivot
43. Тест по изменению таблицы
44. Слияние нескольких массивов\таблиц: добавление строк
45. Слияние нескольких таблиц: добавление столбцов (с исп.ключей)
46. Тест по джойнам и юнионам
47. Сохранение данных в файл
48. Итоги загрузки, очистки и подготовки данных

Описательные статистики

1. Что такое описательные статистики
2. Частотный анализ (частотное распределение)
3. Частоты под несколько переменных
4. 4 группы мер в описательной статистике
5. Меры центральной тенденции: среднее, мода, медиана
6. Меры точек относительного разделения : процентили и квартили
7. Меры рассеивания\вариативности: дисперсия, ст.отклонение, размах
8. IQR и выбросы\outliers
9. Комлексный анализ описательных статистик: describe
10. Ящик с усами: визуал для среднего,квартилей,мин и макс, выбросов
11. Меры формы распределения: асимметрия и эксцесс
12. Итоги раздела

Визуализации данных

1. Что такое визуализации?
2. Воспоминания как строятся диаграммы
3. Агрегирующие и неагрегирующие диаграммы
4. "Плавный" аналог гистограммы: агрегирующая KDE
5. Столбиковые\Линейчатые диаграммы: вертикальные и горизонтальные
6. Разбор и управление элементами диаграмм
7. Цветовое форматирование визуальных элементов
8. Группировка с распаковкой индекса: метод .groupby() с .unstack()
9. Столбцы на разные диаграммы (subplots)
10. Столбиковые диаграммы: с группировкой и с наложением
11. Погрешности\Коридор прогноза на диаграммах
12. График
13. Вторая Y-ось
14. Комбинированная диаграмма
15. График\диаграмма с областями
16. Круговые диаграммы
17. Диаграмма рассеивания\точечная
18. Превращаем точки в "пузыри"
19. Матрица скаттерплотов
20. Как забрать диаграммы в Power Point
21. Таблица - также визуальный элемент
22. Подводим итоги визуализаций

Анализ данных: Сравнение групп

1. Основные блоки задач, решаемые при анализе данных
2. Генеральная совокупность и выборка
3. Гипотезы и вероятность ошибки\значимость
4. Параметрика\непараметрика
5. Проверка распределения "на нормальность"
6. Зависимые (парные, связанные) и Независимые группы
7. Тест: Систематизация основных понятий
8. Сравнение независимых групп: 2 группы, параметрика
9. О навигации по таблицам результатов (вспомним датафреймы)
10. Сравнение независимых групп: 2 группы, непараметрика
11. Тест 2-х групп (почти самостоятельное задание)
12. Сравнение незав. групп:более 2-х групп,параметрика,с пост-хок
13. Сравнение незав. групп:более 2-х групп,непараметрика, с пост-хок
14. Сравнение парных\связанных групп: 2 группы, параметрика
15. Сравнение парных\связанных групп: 2 группы, непараметрика
16. Сравнение парных групп: более 2-х групп, параметрика, с пост-хок
17. Помиксуем-ка мы сами...: парные и независимые группы вместе
18. Сравнение парных групп: более 2-х групп,непараметрика,с пост-хок
19. Таблицы сопряженности: Хи2 для категориальных признаков, независ
20. Таблицы сопряженности: МакНемар для категор. признаков в завис.
21. Разговоры о красивом
22. Групповые итоги

Анализ данных: связи между переменными

1. Рассуждения о связях между переменными
2. Сила, Направленность и Значимая\Неслучайна статистическая связь
3. Корреляции
4. Мидквел: многомерность выбросов
5. Мидквел: многомерная нормальность
6. Мидквел: корреляционная красота
7. Корреляция для повторных замеров
8. Ложные (частные\получастные) корреляции
9. Анализ надежности-согласованности
10. Линейная регрессия
11. Понятие нормализации данных
12. А если связи нелинейные?
13. Квантильная регрессия (библиотека statsmodels)
14. Что такое факторный анализ
15. Факторный анализ (библиотека factor_analyzer)
16. Итоги раздела

Анализ данных: классификация

1. Переходим к классификации и кластеризации
2. Кто учит алгоритмы? Обучение с учителем
3. Бинарная логистическая регрессия
4. Как понять хороша ли модель: Precision, Recall, ROC-AUC
5. Мультиномиальная логистическая регрессия
6. Порядковая логистическая регрессия
7. Ближайшие соседи k-NN
8. Деревья решений
9. Ансамбли: RandomForest (случайный лес) как бэггинг подход
10. Ансамбли: бустинги - каждая модель исправляет предыдущую
11. А если никто не учит? Обучение без учителя.
12. Кластерный анализ методом К-средних
13. Кластеризация на основе плотности DBSCAN
14. Визуализация кластеров на плоскости t-SNE
15. Нейросети как сложные классификаторы
16. Многослойный перцептрон MLP: с учителем
17. Болцмановские машины (RBM): без учителя
18. Итоги раздела

Мидквэл:анализ и прогнозирование временных рядов statsmodels.tsa

1. Что такое временной ряд и работа с ним
2. Главная ловушка при анализе временных рядов
3. Основные задачи анализа временных рядов
4. Компоненты временного ряда: тренд, сезонность, цикл, всплеск
5. С чего начинается: смотрим "на глазок"
6. Подавление "шумов":HPF(Hodrick-Prescott Filter) отделение тренда
7. Анализ сезонности (на ряду с другими компонентами)
8. (s)ARIMA(x): обучение на временном ряде и его прогнозирование
9. Итоги временных прогнозов

Небольшой факультатив:обзор других отдельных аналитических возм.

1. Используем SQL-скрипты в JupiterLabs
2. Использование Python в Excel 365
3. Не таблицами едиными: анализ текста, изображений, аудио, видео..
4. Разработка аналитических приложений
5. ИИ-помощники при работе с Python

Послесловие

1. Обобщение курса
2. Напутствие
3. Бонус-лекция

Спойлер: Об авторе

Никита Сергеев

Cтратегия и оргразвитие, анализ данных, управление проектами.
Автор курсов - профессиональный аналитик, сертифицированный менеджер проектов, консультант по стратегии и оргразвитию.

Ведущий инструктор русскоязычных курсов и программ в категории «Бизнес», "Бизнес-анализ" и "Data Science" на отечественных и международных платформах онлайн-образования. За плечами ряд крупных реорганизаций и преобразований \ трансформаций компаний.

Человек с уникальным сочетанием академической подготовки (организационная психология, управление международными проектами, степень МВА) и обширного бизнес-опыта. Автор прикладной бизнес-литературы.

Сотрудничает как с крупнейшими телеком- и промгигантами; компаниями финансового, нефтегазового и госсектора; так и с небольшими компаниями. Участвовал в ряде проектов и трансформационных программ (в т.ч. совместно с ведущими консалтинговыми компаниями).

В качестве преподавателя-инструктора за плечами прикладные тренинги и обучающие мероприятия для руководителей старшего и высшего менеджмента крупных компаний, а также преподавание учебных дисциплин на МВА-программах в России, СНГ и ЦВЕ.

​

О курсе:

• Изучите базовые функциональные возможности платформы GitLab для DevOps.
• Разберемся на практике с базовыми возможностями от создания групп, проектов, добавления пользователей до написания скриптов для Gitlab CI/CD.
• Во второй части курса мы изучим основы Git.
• В третьей части курса как только вы освоитесь с интерфейсом и функциями GitLab, перейдем к написанию кода на YAML, разберемся с GitLab - CI/CD pipeline.
• На практике сделаем несколько мини проектов. Плюс по завершению курса рассмотрим мини-проекты.

Обучение проходит на GitLab CE: Community Edition, а это значит что вы сможете развернуть у себя на компьютере полноценную лабораторию для экспериментов.

Чему вы научитесь:

• Изучите базовые настройки GitLab.
• Управлять пользователями в GitLab.
• Создавать и работать с проектами GitLab.
• Общий принцип работы CI/CD.
• Изучите базовые функциональные возможности платформы GitLab для DevOps.
• Разберем основы Git.
• Поймете основы YAML.
• Рассмотрим основы Markdown.
• Настроите и используйте GitLab Runners для выполнения CI/CD pipeline.
• Автоматизировать сборку, тестирование, развертывание с помощью GitLab CI
• Подключать и настраивать GitLab Runners.
• Создавать собственные скрипты для GitLab CI/CD (Pipelines, Jobs, Stages).

Обучение проходит на GitLab CE: Community Edition, а это значит что вы сможете развернуть у себя на компьютере полноценную лабораторию для экспериментов.
Для кого этот курс
Для всех желающих познакомиться с платформой GitLab. Хотите узнать, как построить CI/CD pipeline в GitLab.

Начальные требования
1.1 GitLab: Необходимое ПО - в результате прохождения данного урока вы на практике развернете в docker свой собственный GitLab сервер.

• Основы работы с ПК
• Знаете как открыть командную строку в Mac/Linux/Windows.
• Желательно иметь общее представление о Docker.
• Права администратора для установки программного обеспечения на ПК.
• Для практики вам нужен ПК который имеет возможность создать и запустить виртуальную машину,
• необходимо иметь 8гб оперативной памяти,
• 32гб свободного места на жестком диске
• несколько ядер процессора с возможностью виртуализации.

Обратите внимание GitLab будем устанавливать локально, в минимальном варианте он потребует от 4.5 Гб оперативной памяти, плюс потребуется память для runner (в итоге минимум может использоваться 6 Гб, плюс 2 Гб где останется под основную ОС, учтите это)

Как проходит обучение
Курс для самостоятельного изучения, который вы сможете проходить в удобном вам темпе. Обучение проходит в формате видео лекции, упор делается на практику, а так же есть короткие тесты. Желательно самостоятельно вводить код приведенных примеров.

Программа курса:

• Gitlab: подготовка
• Gitlab: начало
• Git & Gitlab
• Gitlab: CI/CD
• Gitlab: мини проекты CI/CD на практике

Что вы получаете:

• Поймете основные функциональные возможности платформы GitLab CE
• По завершению этого курса студенты смогут работать с GitLab CE
• Сможете самостоятельно на базе GitLab выстраивать процесс CI/CD.

​

Тестирование документации — это не формальность и не финальный штрих, а важная часть качества продукта, значительно удешевляющая процесс разработки ПО.
Этот курс создан для начинающих и работающих тестировщиков уровня джуниор и миддл, которые хотят уверенно проверять требования, пользовательские сценарии, API-спецификации и сопроводительные материалы.
Мы последовательно разберём, как читать документы так, чтобы находить противоречия, неопределённости и пробелы, как соотносить документацию с реальным поведением системы и как выстраивать трассируемость между требованиями и тестами.
К окончанию курса вы сможете уверенно проверять документацию разных типов, фиксировать замечания аргументированно и конструктивно, поддерживать трассируемость и влиять на качество продукта ещё до написания кода.
Вы научитесь выстраивать предсказуемый процесс ревью, экономить время команды и снижать стоимость исправления дефектов за счёт раннего обнаружения проблем в документах.

Для кого этот курс

• Тестировщики начального уровня, которые хотят понять, с чего начинать проверку документации и как не упускать важные детали.
• Тестировщики уровня миддл, которым нужна структура, чёткие критерии и расширение набора техник для ревью документов.
• Инженеры по качеству, участвующие в анализе требований, уточнении сценариев и приёмке изменений по API.

Чему вы научитесь

• Определять цели и границы тестирования документации, выбирать правильные источники истины и договариваться о критериях качества.
• Применять чек-листы качества к требованиям: полнота, непротиворечивость, однозначность, проверяемость, актуальность, трассируемость.
• Разбирать пользовательские сценарии: основной поток, альтернативы, исключения, предусловия и постусловия, а также переводить их в тестовые идеи и наборы.
• Читать и проверять спецификации API на основе Swagger или OpenAPI: схемы, типы, обязательные поля, коды ошибок, примеры, версии и обратная совместимость.
• Строить карту трассируемости между требованиями, тестами, багами и релизами, поддерживать её в актуальном состоянии и использовать для анализа регрессии.
• Тестировать интерфейсные тексты и локализацию: единообразие терминов, тональность, длины строк, переносы,Plural-формы, форматы даты, времени и чисел, а также доступность.
• Работать с версиями и процессом согласования изменений: ревью, комментарии, фиксация решений, контроль изменений и связь с задачами.
• Использовать инструменты: системы документации как код, линтеры, статический анализ, средства для сравнения версий и автоматической генерации документации.

Спойлер: Программа курса

Роль и основы тестирования документации:

1. Зачем тестировать документацию
2. Виды документации: от требований до пользовательских гайдов
3. Источники истины и артефакты проекта
4. Область ответственности тестировщика при ревью документов
5. Базовый чек-лист качества и типичные дефекты

Требования и критерии качества документации:

1. Полнота, непротиворечивость, однозначность, проверяемость.
2. Нефункциональные требования и качественные атрибуты.
3. Примеры плохих формулировок и как их исправлять.
4. Приоритеты и риск-ориентированное ревью.
5. Критерии готовности документа к разработке.

Пользовательские сценарии: юзкейсы и сториз:

1. Структура юзкейсов: акторы, предусловия, основной и альтернативный сценарии.
2. User Story, критерии приёмки и Definition of Ready.
3. Негативные сценарии и исключения.
4. От сценария к тестовым идеям и наборам.
5. Проверка согласованности сценариев между собой.

Спецификации API: Swagger и OpenAPI

1. Структура спецификации: схемы, операции, модели и примеры.
2. Обязательные и необязательные поля, типы и валидация.
3. Коды ответов, ошибки и согласованность контрактов.
4. Обратная совместимость и версии API.
5. Проверка примеров и соответствия схеме.

Трассируемость: маппинг тестов на документацию

1. Матрица трассируемости: требования, тесты, дефекты, релизы.
2. Методика покрытия: что и как связывать.
3. Актуальность связей и контроль изменений.
4. Метрики покрытия и риск-ориентированный подход.
5. Практика анализа влияния изменений.

Проверка интерфейсных текстов и локализации

1. Единообразие терминов и тональность.
2. Ограничения длины, переносы и усечение.
3. Форматы даты, времени, чисел и валют.
4. Плюральные формы и гендерные конструкции.
5. Доступность и читабельность текстов.

Версионирование, изменения и согласования

1. Процесс ревью документации и фиксация решений.
2. Версионирование и политика изменений.
3. Семантическое версионирование и обратная совместимость.
4. Контроль изменений и аудит следов.
5. Работа с фичефлагами и временной расхождением дока и кода.

Заключение

1. Антипаттерны и профилактика дефектов в документации.
2. Как подготовиться к встрече «Трес Амигос».
3. Тестировщик на груминге.

​

Практической основой курса выбран фреймворк PyTorch, с помощью которого выполняется построение и обучение нейронных сетей. Почему именно PyTorch? В действительности, единственный конкурент ему другой аналогичный фреймворк Keras/Tensorflow. Однако PyTorch имеет более удобный функционал проектирования сетей самой разной архитектуры. В то время как Keras/Tensorflow больше зарекомендовал себя в коммерческих приложениях (в продакшене) благодаря несколько более высокой скорости обучения НС. Но различия по скорости работы между этими двумя фреймворками не так существенны, а иногда и вовсе незаметны, чтобы отказываться от удобства PyTorch в пользу Keras/Tensorflow. К тому же, изучив PyTorch, вы легко сможете перейти на Keras/Tensorflow, если в этом возникнет необходимость.

Программа курса
Введение в нейросети. Тензоры PyTorch

1. Начало
2. Структура и принцип работы полносвязных нейронных сетей
3. Установка PyTorch совместно с CUDA
4. Создание тензоров. Конвертирование в NumPy
5. Тензоры. Автозаполнение, изменение формы
6. Тензоры. Индексирование и срезы
7. Тензоры. Базовые математические операции
8. Тензоры. Тригонометрические и статистические функции
9. Тензоры. Векторно-матричные операции
10. Использование CPU и GPU на примере простой НС
11. Персептрон - возможности классификации образов

Создание и обучение моделей полносвязных нейронных сетей

1. Идея обучения НС градиентным алгоритмом
2. Алгоритм back propagation
3. Функции активации и потерь в PyTorch
4. Автоматическое дифференцирование
5. Оптимизаторы. Реализация SGD на PyTorch
6. Классы nn.Linear и nn.Module
7. Форматы выборок. Сбалансированность и репрезентативность
8. Классы Dataset и Dataloader
9. Применение классов Dataset и Dataloader
10. Классификация изображений цифр БД MNIST
11. Трансформации transform. Класс ImageFolder
12. Сохранение и загрузка моделей нейронных сетей
13. Переобучение (overfitting). Критерии останова обучения
14. L2-регуляризатор и Dropout
15. Алгоритм Batch Normalization
16. Классы Sequential, ModuleList и ModuleDict

Сверточные нейронные сети

1. Введение в сверточные нейронные сети (CNN)
2. Классы Conv2d и MaxPool2d
3. Пример реализации сверточной нейронной сети
4. Сверточные нейронные сети VGG-16 и VGG-19
5. Теория стилизации изображений (Neural Style Transfer)
6. Делаем стилизацию изображений на PyTorch
7. Остаточные нейронные сети (residual networks - ResNet)
8. Архитектуры ResNet-18 и ResNet-50
9. Использование ResNet моделей. Их связь с Dropout и бустингом
10. Transfer Learning (трансферное обучение)
11. Архитектура сети U-Net. Семантическая сегментация изображений
12. Реализация U-Net для семантической сегментации изображений

Рекуррентные нейронные сети

1. Введение в рекуррентные нейронные сети
2. Класс nn.RNN рекуррентного слоя
3. Рекуррентная сеть для прогноза символов
4. Понятие эмбеддинга. Embedding слов
5. Прогноз слов рекуррентной нейронной сетью
6. Функции активации в RNN. Двунаправленные RNN
7. Двунаправленные RNN в PyTorch. Сентимент-анализ фраз
8. LSTM - долгая краткосрочная память
9. Рекуррентный блок GRU

Автоэнкодеры. Генеративные сети

1. Введение в автоэнкодеры
2. Вариационные автоэнкодеры (VAE)
3. Реализация вариационного автоэнкодера (VAE)
4. Генеративно-состязательные сети (GAN)
5. Реализация GAN на PyTorch

​

Практический онлайн-курс для Python QA Automation - инженеров, которые хотят уверенно тестировать брокеры сообщений, писать стабильные E2E-тесты и не бояться асинхронных систем.

Тренинг для инженеров автоматизаторов на Python, которые уже имеют опыт автоматизации и опыт тестирования back-end.

В тренинге внимание сфокусированно именно на брокерах сообщений. Если вам важны такие темы, как CI/CD, отчеты о тестировании, сбор метрик покрытия сервисов автотестами, красивое логгирование, оповещение о прохождении тестов и другое, лучше рассмотреть тренинг REST API Advanced.

Необходимые знания:

• уверенные навыки программирования на Python и работы с Git
• опыт автоматизации тестирования веб-приложений
• навыки использования ООП на Python

Программа

Введение

Что такое брокеры сообщений?
В данном уроке рассмотрим, что такое брокеры сообщений и для чего они применяются.

Kafka
В данном уроке рассмотрим, что такое Kafka, и рассмотрим один из вариантов UI-интерфейса.

Kafka: Produccer
В данном уроке научимся публиковать сообщения в топики Kafka с помощью python.

Kafka: Singleton
В данном уроке рассмотрим паттерн Singleton для экономии соединений и примеры его использования для python клиентов Kafka.

Kafka: Consumer
В данном уроке рассмотрим способы подключения к Kafka и проблемы, с которыми сталкивается тестировщик при работе с Kafka консумером.

Kafka: Работа с потоками
В данном уроке рассмотрим, как работать с блокирующими задачами при прослушивании топиков и примитивы синхронизации потоков в python.

Kafka: класс Consumer и тесты
В данном занятии реализуем удобный интерфейс для работы с Kafka Consumer и напишем тесты.

Kafka: паттерн Observer
В данном уроке рассмотрим паттерн Observer, который позволит нам экономить соединения, а также быстро и удобно уведомлять всех подписчиков о получении сообщений в топики.

Kafka: E2E
В данном занятии рассмотрим схему нашего приложения и напишем end-to-end тесты для проверки каждой контрольной точки системы.

Rabbit MQ
В данном уроке узнаем, что такое RabbitMQ, и поработаем с UI интерфейсом.

Rabbit MQ: Publisher
В данном занятии научимся использовать python для публикации сообщений в обменник RabbitMQ.

Rabbit MQ: Subscriber
В данном занятии научимся подписываться на очереди RabbitMQ с помощью python.

Rabbit MQ: Как тестировать consumer?
В данном занятии узнаем, как тестировать consumer и какие подходы для этого использовать.

Итоги
Подведем краткие итоги по курсу.

​

Хотите изучить весь необходимый стек и набор инструментов для Web-разработчика:

• 20 000 строк кода написано,
• 221 урок,
• 78 часов,
• 320 упражнений,
• Курс разбит на 163 дня,

Что Вы получите после прохождения курса?
1 Вы получите глубокое понимание современного подхода к Web-разработке
2 Вы будете знать все необходимые современные технологии и инструменты
3 Вы узнаете, как сделать качественный дизайн, используя бесплатный AI
4 Вы сможете работать по Scrum и Kanban
5 Вы узнаете, как создать правильную документацию для проекта с помощью Confluence
6 Вы научитесь правильно планировать проект с помощью Jira
7 Вы узнаете, как правильно настроить окружение: VS Code, линтеры и статические анализаторы кода
8 Вы научитесь правильно работать с Git, используя ветки, Pull Request, CI/CD
9 Вы освоите процесс адаптивной вёрстки любых сайтов
10 Вы научитесь программировать серверную часть
11 Вы узнаете, как правильно писать автоматизированные тесты
12 Вы освоите DevOps-практики
13 Вы научитесь создавать docker-образы своих проектов
14 Вы узнаете, как подбирать и настраивать VPS
15 Вы узнаете, как размещать сайт в Интернете
16 Вы сможете автоматизировать процесс размещения в Интернете с использованием пайплайна CD и docker-образов
17 Вы создадите свой собственный профессиональный Web-проект

Кому подойдёт курс?
- Новичкам в Web-разработке
Вы начнёте с самых основ и дойдете до продакшена через CI/CD.
- Фрилансерам
Вы научитесь не только правильному подходу к разработке, но и получите навык эффективной организации работы.
- Планирующим устроиться на работу
После курса Вы уже будете отличным специалистом, который знает, как происходит современная разработка в IT-компаниях. Это отличное конкурентное преимущество перед теми, кто просто умеет создавать сайты.
- IT-предпринимателям
Вы сможете создать свой проект, не привлекая сторонних людей, сэкономив сотни тысяч рублей и сделав всё так, как Вы хотите. Помните: хочешь сделать хорошо – сделай это сам.
- Тем, кто устал от фрагментарных туториалов
Здесь полный цикл — от идеи через профессиональную разработку до деплоя.

Основная часть курса состоит из 7 модулей и 5 подмодулей, разбитых по спринтам (терминология из Scrum)

К курсу идёт 5 Бонусных курсов

Что нужно знать для успешного прохождения курса?
Вам не нужны глубокие знания программирования или сложной математики. Курс построен так, чтобы даже новичок с минимальной компьютерной грамотностью (умение устанавливать программы, работать с файлами) смог освоить материал.

Важно!
Обратите внимание, что если Вы вообще не знаете HTML, CSS, JavaScript, PHP, Laravel, то начните своё обучение с соответствующих Бонусных курсов. Их более чем достаточно для освоения всего материала курса «Профессиональная Web-разработка. Дизайн, код и автоматизация».

Я объясню всё с нуля: от настройки среды разработки до публикации проекта.

Защита у курса есть.

​

Что будет на курсе?

Практика с сайтами
Цель курса дать не только теорию, но и практику, которая 100% пригодится в работе на реальных проектах.
Изучение теории с нуля
Курс идеально подходит тем, кто хочет с нуля изучать основы JavaScript и применять полученные знания на практике.
Разработка мини-игр
JavaScript идеально подходит для разработки браузерных игр. Именно поэтому на курсе будет практика, связанная с ними.

Расписание
День 1 | Что такое JavaScript?
День 2 | Переменные
День 3 | Типы данных
День 4 | Операторы
День 5 | Функции
День 6 | Циклы и итерации
День 7 | Массивы и методы
День 8 | Объекты и методы
День 9 | Введение в DOM
День 10 | События и обработчики событий
День 11 | Практика: Вывод списка по категориям
День 12 | Условные операторы
День 13 | Работа с формами и валидация
День 14 | Введение в LocalStorage
День 15 | Практика: Добавление треков в избранное
День 16 | Классы в JavaScript
День 17 | Работа с API (ч.1)
День 18 | Работа с API (ч.2)
День 19 | Практика: Вывод постов через API
День 20 | Анимация на чистом JavaScript
День 21 | Использование GSAP
День 22 | Создание слайдеров на Swiper
День 23 | Работа с Canvas
День 24 | Основы создания игр
День 25 | Управление клавишами и событиями мыши
День 26 | Практика: Простая игра на Canvas
День 27 | Введение в WebGL и three.js
День 28 | Объекты в сцене и перемещения камеры
День 29 | Свет и тени
День 30 | Материалы и текстуры
День 31 | Управление аудио
День 32 | Настройка клавиш
День 33 | Практика: Разработка игры на WebGL (ч.1)
День 34 | Практика: Разработка игры на WebGL (ч.2)

​

После этого курса вам вряд-ли пригодятся другие, ведь здесь вы узнаете достаточно основ для того чтобы начать читать документацию и самостоятельно разбираться в мире программирования.

Python PRO - один курс вместо пяти разных:

• Синтаксис,
• ООП,
• Telegram-боты на aiogram,
• сайты на Django,
• API на FastAPI.

Программа курса:

• Синтаксис Python
  Условные операторы, циклы, функции, списки, словари, файлы, исключения — фундамент, без которого никуда.
  
  
• Объектно-ориентированное программирование
  Классы, наследование, инкапсуляция, полиморфизм. Думаешь как архитектор, а не просто пишешь скрипты.
  
  
• Telegram-боты на aiogram
  Хендлеры, FSM, клавиатуры, база данных. Боты в СНГ заказывают каждый день — это живые деньги сразу после курса.
  
  
• Веб-сайты на Django
  Шаблонизатор, URL-роутинг, ORM, авторизация, база данных. Полноценные сайты без глубокого знания frontend.
  
  
• REST API на FastAPI
  Один из самых быстрых фреймворков в мире. Делаешь бэкенд, к которому подключается любое приложение.

Проекты которые ты построишь:

• aiogram: Telegram-бот №1 — мой пример с нуля до деплоя
• aiogram: Telegram-бот №2 — твоя идея, твой проект
• Django: Сайт №1 — с базой данных, авторизацией и админкой
• Django: Сайт №2 — твой, под любую идею
• FastAPI

Спойлер: Об авторе:

Тимур Сагитов (Эксперт)

Senior Python Developer. Стаж 12 лет. Более 4 миллионов просмотров на YouTube, создатель проекта $ sudo teach IT. Преподаёт с 2019 года, программирует с 2013.

​

Мечтаешь разбираться в данных глубже и применять нейросети для прогнозов? Этот пакет даст тебе всё необходимое: от изучения методов анализа временных рядов до построения собственных моделей в PyTorch. Ты научишься выявлять закономерности, работать с трендами и сезонностью, создавать предсказательные модели и понимать их математическую основу. С этим курсом ты получишь навыки, которые ценят работодатели, и сделаешь уверенный шаг в карьеру в Data Science.

Чему вы научитесь

Анализировать временные ряды и выявлять тренды, сезонность и аномалии
Применять классические методы прогнозирования (ARIMA, Prophet и др.)
Работать с PyTorch и создавать свои первые нейросети
Строить и обучать модели RNN и LSTM для временных рядов
Подготавливать данные к моделированию и оценивать качество прогнозов
Сравнивать подходы и выбирать оптимальные решения для задач анализа данных
Разрабатывать проекты, которые можно добавить в портфолио

Курс 1: Анализ и прогнозирование временных рядов

Методы анализа временных рядов
Поиск трендов, сезонности и выбросов
Построение моделей прогнозирования (ARIMA, Prophet и др.)
Подготовку временных рядов к обучению нейросетей

Кому подойдёт: аналитикам и дата-сайентистам, которые хотят научиться прогнозировать данные и решать реальные бизнес-задачи.

Курс 2: PyTorch с Нуля до Первой Нейросети

Основы работы с PyTorch
Создание своей первой нейросети
Обучение и оптимизацию моделей
Использование PyTorch для задач анализа данных и временных рядов

Кому подойдёт: тем, кто хочет уверенно войти в мир глубокого обучения и научиться строить модели на практике.

Почему это выгодно:

Сэкономите десятки часов на поиске разрозненных материалов
Получите комплексную подготовку по всем ключевым темам
Научитесь применять знания сразу — без лишней теории
Подготовитесь к реальной работе в индустрии

Для кого эта программа

• Для студентов и выпускников, желающих получить прикладные навыки
• Для тех, кто готовится к собеседованиям на позицию аналитика
• Для тех, кто хочет войти в Data Science без воды и лишней теории
• Для специалистов из маркетинга, продаж, финансов, которые хотят разобраться в данных
• Для самоучек, которым нужна структура и практика

Начальные требования

Базовые знания Python
Знакомство с основами статистики и алгебры желательно, но не обязательно
Всё остальное — изучите в процессе

Содержание:

Нейросети в PyTorch: быстрый старт с нуля

Введение и настройка

Что такое PyTorch и зачем он нужен
Установка и настройка (локально и в Google Colab)

Основы тензоров и автодифференцирование

torch.Tensor: создание, типы, shape, операции
Автоматическое дифференцирование: requires_grad, backward() и др.

Линейные модели и градиентный спуск

Ручной градиентный спуск
Линейная регрессия с PyTorch
Функции потерь и оптимизаторы (MSELoss, SGD)
Тренировка и визуализация лосса

Нейронные сети

Что такое нейросети
Многослойный перцептрон (nn.Sequential, nn.Module)
Активации: ReLU, Sigmoid, Softmax
Модель классификации + обучение

Работа с данными

Dataset и DataLoader
Работа с CSV и изображениями
Аугментации и трансформации (torchvision.transforms)

Компьютерное зрение

Введение в сверточные сети (CNN)
Conv2d, MaxPool2d, Flatten
Классификация на MNIST / CIFAR-10

Оценка и сохранение моделей

model.eval(), torch.no_grad()
torch.save, torch.load
Обратная связь

Анализ и прогнозирование временных рядов

Введение в временные ряды

Что такое временные ряды: определение и ключевые компоненты
Задачи анализа временных рядов: прогноз, классификация, аномалии

Обработка и визуализация временных рядов

Чтение и загрузка временных рядов (Pandas, NumPy)
Очистка и предобработка данных
Визуализация временных рядов с Matplotlib и Seaborn

Стационарность и преобразование временных рядов

Определение стационарности временных рядов
Тесты на стационарность: ADF, KPSS, PP и другие
Преобразование временных рядов для стационарности

Декомпозиция временных рядов

Теория декомпозиции временных рядов: тренд, сезонность и шум
Применение STL для декомпозиции временных рядов

Классические модели для прогнозирования временных рядов

Модели авторегрессии (AR), скользящего среднего (MA), ARMA и др.
Применение ARIMA для прогнозирования
Модели с сезонностью: SARIMA

Прогнозирование с использованием экспоненциального сглаживания

Что такое экспоненциальное сглаживание
Прогнозирование с Simple, Double и Triple Exponential Smoothing

Прогнозирование временных рядов с машинным обучением

Использование ML для прогнозирования
Выбор признаков и обработка временных зависимостей
Применение моделей ML: Random Forest, XGBoost, LGBM

Глубокое обучение для прогнозирования временных рядов

Введение в нейронные сети для прогнозирования временных рядов
Рекуррентные нейронные сети (RNN), LSTM и GRU
Применение LSTM для долгосрочных зависимостей

Продвинутое прогнозирование: Temporal Convolutional Networks

Введение в Temporal Convolutional Networks (TCN)
Построение моделей с TCN для прогнозирования временных рядов

Прогнозирование временных рядов с использованием Prophet

Введение в Prophet: особенности модели и её использование
Прогнозирование с использованием Prophet для временных рядов
Параметры модели и их настройка

Оценка и улучшение точности прогнозов

Техники для улучшения точности прогноза: моделирование ошибок
Оценка стабильности и доверия к прогнозам

Обнаружение аномалий и выбросов

Что такое аномалии и выбросы в данных
Методы обнаружения аномалий: статистические и др.
Практические примеры на временных рядах

Заключительный проект: прогнозирование курса биткоина

Построение проекта по прогнозированию курса биткоина
Анализ и очистка данных
Применение методов прогнозирования (ARIMA, LSTM, Prophet и др.)
Оценка качества прогноза и выводы

​

В десятом сезоне Techlead Crew мы разберем как строить потоковую обработку данных, выбирать между SQL, NoSQL и NewSQL под реальные нагрузки и сценарии, проектировать DWH и Data Lake, работать с консистентностью и транзакциями без потери масштабируемости, как и когда применять OLAP-хранилища и не превращать аналитику в боль.

Вы получите доступ к приватному YouTube-плейлисту, который состоит из следующих видео:

• Открытая сессия Podlodka Techlead Crew: Публичное собеседование: Object Storage Service
• Доклад: Аналитика там, где лежат данные / Илья Солтанов (Точка Банк)
• Доклад: Архитектура и масштабируемость распределённых БД на примере YDB / Олег Бондарь (Яндекс)
• Доклад: Контракты данных: с какой стороны подойти / Анна Мавлютова (Т-Банк)
• Доклад: Архитектура хранилища данных для вашего проекта / Евгений Ненахов (БКС Мир Инвестиций)
• Круглый стол: Хранилища данных: SQL, NoSQL, NewSQL / Михаил Жилин, Олег Бондарь, Константин Евтеев
• Доклад: ClickHouse + Antalya + Data Lake = Real Time Data Lake / Александр Зайцев (Altinity)
• Интервью: Производительность PostgreSQL / Михаил Жилин (Postgres Professional)
• Архитектурная ката: Рефакторинг данных и расписаний / Владимир Невзоров
• Доклад: Что скрывает ваша ORM, или Как не сломать PostgreSQL абстракциями / Олег Чуркин (Точка Банк)
• Доклад: Data Mesh на практике: грабли, архитектура, автоматизация / Евгений Ермаков (iJKos&Partners)

​

Неделя «Масштабирование архитектуры»:

- разберёмся, когда пора масштабировать архитектуру, и как договариваться об этом с бизнесом;
- научимся определять, когда архитектуру ещё можно спасти, а когда пора начинать строить заново;
- выясним, как перестраивать существующее решение при росте нагрузки;
- научимся масштабировать процессы тестирования;
- обсудим, а всегда ли нужны микросервисы;
- вместе решим System Design задачи на масштабирование архитектуры;

Программа:
Геннадий Круглов. Доклад «Когда пора заняться архитектурой?»
В докладе Геннадий поделится мыслями о том, что такое архитектура, какие у нее бывают уровни, что такое архитектурно-значимые решения и когда же архитектуру пора менять. И, конечно же, будет разбор типовых симптомов, которые являются индикаторами необходимости изменений.

Илья Казначеев. Доклад «CQRS»
Сложные проблемы требуют непростых решений, таких, как распределенные системы. Но такие системы создают ещё больше проблем... В докладе разберем, как CQRS помогает улучшить архитектуру приложения и уменьшить связанность внутри него. Объясним, как сделать взаимодействие между сервисами более надёжным и консистентным, значительно повысить масштабируемость и поддерживаемость системы. И всё это на примерах из практики.

Максим Смирнов, Кирилл Ветчинкин, Филипп Дельгядо, Евгений Толмачёв. Круглый стол «Перестаньте пилить микросервисы»
Обсуждаем плюсы и минусы микросервисной архитетуры. Выявляем ключевые критерии для принятия решения: переходить на микросервисы или остаться на монолите. Вопросы масштабирования, подводные камни и практический опыт экспертов.

Наталья Петровская. Доклад «Надо больше тестирования: как масштабироваться и получить удовольствие»
Когда система растёт, очень часто тестирование оказывается на линии релиза с предложениями «давайте больше тестировщиков». Поговорим о том, как масштабироваться без боли, регистрации и смс, с чего начать, чем закончить и какие можно сделать выводы из чужих ошибок.

Олег Бондарь. Доклад «Масштабирование распределенных систем»
YDB — это платформа, которая может одновременно работать с OLTP и OLAP-нагрузками, а также выступать в качестве сервиса очередей сообщений. В докладе узнаем, как мы решаем проблемы хранения и масштабирования данных и нагрузки для таких разных задач. Про общепринятые подходы и выбранные нами решения.

Александр Крылов, Иван Нещадин. Публичное собеседование «Публичное собеседование по System Design »
Александр Крылов (bimeister) проведет собеседование по system design, в течение которого Иван Нещадин (Авито) попробует спроектировать платформу-маркетплейс по услугам рекламы для заказчика из среднего бизнеса

Владимир Иванов. Доклад «Как развивать архитектуру и не сходить с ума»
С новым проектом нет обычно проблем: тут сделаем веб-приложение, тут базу выберем, тут пару сервисов напишем. Но вот сервис взлетел, и теперь нужно его менять и развивать. Чем руководствоваться? Как объяснить разработчикам каких рамок придерживаться? И как самому не стать бутылочным горлышком?

Даниил Марданов. Доклад «Баланс между бизнесом и инженерами»
Узнаем, как проекту с 10-летней историей не превратиться в легаси, обеспечивая кратный рост нагрузки, непрерывную поставку фич и высокое техническое качество.

Павел Лакосников. Доклад «Эволюция технических метрик»
Доклад будет рассматривать эволюцию метрик в контексте роста команд, компании, продукта и кода. Обсудим связь с архитектурной эволюцией, а также идею построения метрик на основе трейсов. Посмотрим на обзор эволюции инструментов для сбора метрик: от простых систем уведомлений администратору до современных решений, таких как VictoriaMetrics.

Евгений Кузовлев. Доклад «Геораспределенные системы»
Мы каждый день сталкиваемся и в использовании (как пользователи), и в разработке (как специалисты) с распределенными системами. Они бывают как сильно распределенными, так и не очень. В чем разница? Почему у знакомого есть три дата-центра и у тебя есть три дата-центра, но есть нюанс? Когда надо думать про разные штуки с задержками и консистентностью, а когда можно поставить модную БД в режиме as-a-Service и все будет круто? Приходите поговорить про скучную теорию и веселые фейл-кейсы построения разных распределенных систем.

​

Алготрейдинг — это не магия и не кнопка «бабло».
Это системная инженерная работа.

Есть миф, что для успешной торговли не нужно знать язык программирования, потому что нейросети всё напишут за вас.
В реальности всё работает по-другому: невозможно написать стабильного торгового робота, которому можно доверить управление капиталом, не понимая языка программирования.

В начале апреля стартует наш курс по Python для алготрейдинга с нуля.
Он рассчитан на тех, кто только начинает изучать Python: простым языком разберём базу — от установки программного обеспечения и синтаксиса языка до работы с биржами и открытия ордеров.
Вы поймёте логику создания торговых ботов и реализуете несколько собственных проектов.

Программа длится 3 недели. Стоимость — 300 $. Занятия проходят 2 раза в неделю онлайн в Zoom: практические разборы, видео- и текстовые уроки, домашние задания.
Курс веду я. Группа будет небольшой — с большим количеством личного общения и обратной связи.
Также обсудим любые вопросы, связанные и не связанные с алгоритмической торговлей, если они возникнут.

Курс рассчитан на новичков, которые хотят:

• изучить основы Python без лишней теории
• научиться работать с биржевыми API
• получать и обрабатывать рыночные данные
• отправлять ордера и управлять позициями
• понимать логику создания торговых алгоритмов
• создать первых торговых роботов под контролем

Если ваша цель — научиться создавать алгоритмы, которые действительно работают, напишите мне в личные сообщения. Добавлю вас в группу.

Системность всегда побеждает иллюзии.