Веб-скрапинг

Интернет—бездонный океан информации. Часто она не структурирована и требует подготовки, чтобы быть полезной. Множество продуктов строят свою бизнес-модель на сборе и обработке данных. Веб-скрапинг—это автоматизированный сбор информации с сайтов и других источников: публичных API, файлов с данными и так далее. Скрапинг нужен везде и всегда. Первый раз я столкнулся с этим в 2010, когда мы были совладельцами маленькой сети зоомагазинов и нужно было искать...

Оновлення бібліотек на проектах

"Rotting software" це серйозна проблема. Вибухове зростання індустрії генерує таке ж зростання кількості інструментів розробки та пришвидшує старіння існуючих рішень. В 2015 для розробки стартапа ми взяли мікросервіси та Spring Cloud Netflix [https://spring.io/projects/spring-cloud-netflix]. До 2017 половину з цього стеку сам Netflix перевів у maintenance режим, а деякі рішення просто задепрекейтив у себе та залишив напризволяще. Ми ще не встигли вийти...

IDE против текстового редактора

Основной мой рабочий инструмент—IntelliJ IDEA. В нем я делаю вcё. Основной аргумент сторонников работы в текстовых редакторах—это минимализм, простота, скорость. По поводу производительности всего что сделано на электроне есть вопросы. А вот с минимализмом и простотой сложнее. Для работы мне нужно несколько вещей: собственно редактор с хорошим автокомплитом и навигацией, дебаггер для java/ruby/python, инструмент для доступа к базам данных, возможность запускать приложения...

Архитектура современных веб-приложений на примере adopt.com.ua. CMS. Мониторинг. Аналитика

Так как у меня нет тестов кроме линтеров, то нужно быть готовым быстро фиксить ошибки на проде. Для этого используются логгеры и трекеры ошибок. Логгер я не использую, так как у меня пока что нечего логировать особо. А вот для трекинга ошибок я пользуюсь отличным сервисом Sentry [https://sentry.io/]. Как он работает? Вы подключаете SDK в своё приложение, и при возникновении любой ошибки она будет...

Архитектура современных веб-приложений на примере adopt.com.ua. Масштабирование

Предущие части: введение [https://www.rozhkov.me/modern-web-applications-architecture/], внешние сервисы [https://www.rozhkov.me/modern-web-applications-architecture-cdn-email/] Сейчас вся моя инфраструктура крутится на самых дешёвых и простых инстантсах. 512 мегабайт памяти, редис на 25 мегабайт, какой-то дохлый постгрес. Всего этого хватает чтобы сайт бодро работал. Что будет, если завтра ко мне придет не 1000 пользователей в день, а 1000000? Чтобы это узнать, нужно проводить нагрузочное тес...

Архитектура современных веб-приложений на примере adopt.com.ua. Внешние сервисы

В предыдущей части я рассказал о ядре [https://www.rozhkov.me/modern-web-applications-architecture/]. Теперь пройдемся о внешних вещах. На Heroku эфемерная файловая система. Это значит, что после перезагрузки инстанса, например при редеплое, все записанные файлы пропадут. Основной контент сайта—это фото, поэтому их нужно где-то хранить. Для этого мы используем AWS S3 [https://aws.amazon.com/s3/]. Файлы прозрачно загружаются на S3 с помощью RoR, для этого...

Таймкоди до стріму з Олександром Соловйовим: Clojure, як стати CTO, складність бізнесу

Саша в Ютубі: https://www.youtube.com/channel/UChAo... [https://www.youtube.com/channel/UChAorxVcXUA9MWSLuHLQX3w] Твітер: https://twitter.com/asolovyov Телеграм канал: https://t.me/bitethebyte​ Та сама крутезна доповідь про FRP: https://www.youtube.com/watch?v=R4sTv... [https://www.youtube.com/watch?v=R4sTvHXkToQ&t=0s]​ Топ тем для тих у кого мало часу: 00:15:40 [https://www.youtube.com/watch?v=...

Архитектура современных веб-приложений на примере adopt.com.ua

Я разработчик сервиса по пристройству животных — https://www.adopt.com.ua/ [https://www.adopt.com.ua] Там вы можете найти себе друга—котика или собачку. Хотя сайт простой, я применяю те же подходы для разработки своих коммерческих проектов. Если бы у меня стояла задача делать стартап, то я всё делал бы так же. Расскажу о том, как всё устроено внутри. Сайт сделан на Ruby on Rails...

Когда полезно уметь в leetcode

На той неделе я писал о том, что знания алгоритмов и умение быстро решать задачи из литкода мне никогда не пригождались [https://www.rozhkov.me/useless-computer-science-knoweledge/]. Ну что ж, instant karma! На выходных я писал компилятор телеграмовских сообщений в html—это нужно для двухсторонней синхронизации с Ghost. Взял собщение из телеги, конвертнул в html, засунул в Ghost, получил пост на сайте, Profit! Изи таска. Телеграм присылает...

Доступність

Останнім часом багато думаю про «доступність». Під цим розумію простоту в робленні будь-чого. Доступність є ключовим фактором у подоланні шкідливих звичок та напрацюванні корисних. Доступність може сильно повпливати на успішність продукту. Якщо у мене цілодобово відкритий робочий месенджер, то я стаю   більш доступним для роботи. Наприклад вже вечір, я перейшов у режим «відпочинку», але насправді прокрастиную у твіттері, і тут мені пише колега. Якщо месенджер відкритий,...

daliy rozhok №3: скучная жизнь, сефл-хелп книги, бесит интернет

Дайджест канала @daily_rozhok [https://t.me/daily_rozhok] где я пишу про рандомные вещи. Сегодня в меню: Необходимость взаимодействия с разными людьми в интернете, часто поджигает мне задницу: Бомбанул от критики [https://www.rozhkov.me/daily/hurt-from-criticism/]—как я ввязался в срач в комментах к своему же посту и проиграл. Что нужно было делать чтобы не проиграть. Shadowban [https://www.rozhkov.me/daily/shadowban/]—фича...

Клубхауз и польза

Последний месяц все активно трещат в клубхаузе. К сожалению, я не пользуюсь айфонами, поэтому лишен возможности пробщиться к этой теме, но понаблюдав сбоку, сделал несколько умозаключений. Клубхауз сделали хорошо, увеличилив доступность формата подкастов. Если раньше нужно было купить хорошую аппаратуру, все это собрать и настроить, позвать собеседников в скайп или зум или еще куда, потом все записать, смонтировать и выложить, то в клубхаузе я так понимаю...

Computer Science знания, которые мне пригодились

В прошлом материале [https://www.rozhkov.me/useless-computer-science-knoweledge/] я перечислил вещи, которые я не использую на практике. Сегодня поговорим о том, что важно и нужно. Поехали. Как устроены и работают разные базы данных и хранилища, как работают индексы, зайчатки CAP, как работают транзакции, что такое план запроса, что такое N+1—на мой взгляд это одни из важнейших знаний которыми должен обладать любой разработчик имеющий дело...

Computer Science знания, которые мне не пригодились

В культуре собеседований западных продуктовых компаний и тех кто под них косит принято гонять кандидатов по базам CS: решать алгоритмические задачи, спрашивать заковыриствую теорию. Бытует мнение, что на практике эти знания применяются крайне редко—поэтому мы, кандидаты, подгораем от необходимости этих знаний на собесах. Зачем спрашивать, если у вас формочки? Оставив в стороне целесообразность проведения таких интервью я сфокусируюсь на своём опыте—какие знания из "...

Раздробленный софт

Каждый день в интернетах появляются новые продукты. Какие-то из них решают маленькую задачу, например превращают веб-страницу в аудио-подксат, какие-то—комплекс, например систему управления проектом. Больше всего меня напрягает в этом сложность интеграции решений и сложность встраивания одно в другое. Для работы с блогом я использовал разные процессы. Сейчас я остановился на self-hosted "вордпрессе" (ghost [https://ghost.org/]) + self-hosted сервисе для кросспоста в телеграм. Последний...

Stop it!

Перед прочтением посмотрите классический ролик о психотерапии [https://www.youtube.com/watch?v=Ow0lr63y4Mw]. Женщина приходит к терапевту и рассказывает ему о своих страхах. А тот на все её запросы отвечает "Stop it!". Прекрати! Где-то так оно и работает. Если тебя что-то не устраивает то надо просто взять и перестать это делать. If you're homeless, just buy a house [https://www.youtube....