Программа Парсер Цен Api 2021 Site
Пользовательский запрос -> API (проверка кэша) -> [если данных нет] -> Очередь задач -> Воркер -> Сайт -> База данных -> API -> Ответ Языки и библиотеки | Язык | Библиотеки | Плюсы для парсинга цен | |------|------------|------------------------| | Python | BeautifulSoup4, Scrapy, Selenium, Playwright | Огромная экосистема, быстрая разработка | | Node.js | Puppeteer, Cheerio, Axios | Отличная работа с асинхронностью, нативная работа с JSON | | Go | Colly, chromedp | Высокая производительность, низкое потребление памяти |
@app.get("/price/product_id") async def get_price(product_id: str): # Сначала проверяем кэш (TTL 5 минут) cached = cache.get(f"price:product_id") if cached: return json.loads(cached) программа парсер цен api
# 3. Fallback: регулярное выражение на сумму if not price: price = re.search(r'[\d\s]+[.,]?\d2₽', response.text) Пользовательский запрос ->
# Проверяем базу данных price = await db.fetch_one("SELECT * FROM prices WHERE product_id=$1 ORDER BY timestamp DESC LIMIT 1", product_id) if not price: raise HTTPException(status_code=404, detail="Product not found") API (проверка кэша) ->
# Псевдокод для Scrapy def parse_price(self, response): # 1. Пробуем найти JSON-LD (схема Schema.org) json_data = response.xpath('//script[@type="application/ld+json"]/text()').get() if json_data: price = extract_price_from_json(json_data) # 2. Ищем стандартные CSS-классы if not price: price = response.css('.price-current__number::text').get()