parse every 5 miuntes

2025-09-14 10:39:18 +05:00
parent 2ef51e43a3
commit 1b8a0fc308
7 changed files with 573 additions and 16 deletions
@@ -2,6 +2,7 @@ package kz.konturai.parser.controller;

 import kz.konturai.parser.model.MarketItem;
 import kz.konturai.parser.service.KursivParserService;
+import kz.konturai.parser.service.KapitalParserService;
 import org.springframework.beans.factory.annotation.Autowired;
 import org.springframework.http.ResponseEntity;
 import org.springframework.web.bind.annotation.*;
@@ -18,18 +19,22 @@ public class ParserController {
    @Autowired
    private KursivParserService kursivParserService;

+    @Autowired
+    private KapitalParserService kapitalParserService;
+
    /**
-     * Запуск парсинга RSS-ленты
+     * Запуск парсинга RSS-ленты Kursiv
     */
-    @PostMapping("/parse")
-    public ResponseEntity<Map<String, Object>> parseRssFeed() {
+    @PostMapping("/parse/kursiv")
+    public ResponseEntity<Map<String, Object>> parseKursivRssFeed() {
        Map<String, Object> response = new HashMap<>();

        try {
            List<MarketItem> savedItems = kursivParserService.parseAndSaveRssFeed();

            response.put("success", true);
-            response.put("message", "Парсинг завершен успешно");
+            response.put("message", "Парсинг Kursiv завершен успешно");
+            response.put("source", "Kursiv");
            response.put("processedItems", savedItems.size());
            response.put("totalItemsInDb", kursivParserService.getTotalItemsCount());

@@ -37,13 +42,73 @@ public class ParserController {

        } catch (Exception e) {
            response.put("success", false);
-            response.put("message", "Ошибка при парсинге: " + e.getMessage());
+            response.put("message", "Ошибка при парсинге Kursiv: " + e.getMessage());
+            response.put("source", "Kursiv");
            response.put("processedItems", 0);

            return ResponseEntity.internalServerError().body(response);
        }
    }

+    /**
+     * Запуск парсинга RSS-ленты Kapital
+     */
+    @PostMapping("/parse/kapital")
+    public ResponseEntity<Map<String, Object>> parseKapitalRssFeed() {
+        Map<String, Object> response = new HashMap<>();
+
+        try {
+            List<MarketItem> savedItems = kapitalParserService.parseAndSaveRssFeed();
+
+            response.put("success", true);
+            response.put("message", "Парсинг Kapital завершен успешно");
+            response.put("source", "Kapital");
+            response.put("processedItems", savedItems.size());
+            response.put("totalItemsInDb", kapitalParserService.getKapitalItemsCount());
+
+            return ResponseEntity.ok(response);
+
+        } catch (Exception e) {
+            response.put("success", false);
+            response.put("message", "Ошибка при парсинге Kapital: " + e.getMessage());
+            response.put("source", "Kapital");
+            response.put("processedItems", 0);
+
+            return ResponseEntity.internalServerError().body(response);
+        }
+    }
+
+    /**
+     * Запуск парсинга всех RSS-лент
+     */
+    @PostMapping("/parse/all")
+    public ResponseEntity<Map<String, Object>> parseAllRssFeeds() {
+        Map<String, Object> response = new HashMap<>();
+
+        try {
+            List<MarketItem> kursivItems = kursivParserService.parseAndSaveRssFeed();
+            List<MarketItem> kapitalItems = kapitalParserService.parseAndSaveRssFeed();
+
+            int totalProcessed = kursivItems.size() + kapitalItems.size();
+
+            response.put("success", true);
+            response.put("message", "Парсинг всех источников завершен успешно");
+            response.put("kursivProcessed", kursivItems.size());
+            response.put("kapitalProcessed", kapitalItems.size());
+            response.put("totalProcessed", totalProcessed);
+            response.put("totalItemsInDb", kursivParserService.getTotalItemsCount());
+
+            return ResponseEntity.ok(response);
+
+        } catch (Exception e) {
+            response.put("success", false);
+            response.put("message", "Ошибка при парсинге всех источников: " + e.getMessage());
+            response.put("totalProcessed", 0);
+
+            return ResponseEntity.internalServerError().body(response);
+        }
+    }
+
    /**
     * Получение статистики по сохраненным записям
     */
@@ -144,6 +209,8 @@ public class ParserController {
        response.put("cronExpression", "0 0/30 * * * ?");
        response.put("description", "Запуск каждые 30 минут (в 0 и 30 минут каждого часа)");
        response.put("nextRun", "Следующий запуск будет в ближайшие 0 или 30 минут часа");
+        response.put("activeParsers", List.of("KursivParserService", "KapitalParserService"));
+        response.put("sources", List.of("Kursiv Media", "Kapital.kz"));

        return ResponseEntity.ok(response);
    }
@@ -0,0 +1,264 @@
+package kz.konturai.parser.service;
+
+import com.rometools.rome.feed.synd.SyndEntry;
+import com.rometools.rome.feed.synd.SyndFeed;
+import com.rometools.rome.io.SyndFeedInput;
+import com.rometools.rome.io.XmlReader;
+import kz.konturai.parser.model.MarketItem;
+import kz.konturai.parser.repository.MarketItemRepository;
+import org.jsoup.Jsoup;
+import org.slf4j.Logger;
+import org.slf4j.LoggerFactory;
+import org.springframework.beans.factory.annotation.Autowired;
+import org.springframework.beans.factory.annotation.Value;
+import org.springframework.scheduling.annotation.Scheduled;
+import org.springframework.stereotype.Service;
+
+import java.net.URI;
+import java.net.URL;
+import java.nio.charset.StandardCharsets;
+import java.security.MessageDigest;
+import java.security.NoSuchAlgorithmException;
+import java.time.LocalDateTime;
+import java.time.ZoneId;
+import java.util.ArrayList;
+import java.util.List;
+
+@Service
+public class KapitalParserService {
+
+    private static final Logger logger = LoggerFactory.getLogger(KapitalParserService.class);
+
+    @Autowired
+    private MarketItemRepository marketItemRepository;
+
+    @Value("${rss.kapital.url}")
+    private String rssFeedUrl;
+
+    /**
+     * Автоматический запуск парсинга каждые 30 минут
+     * Cron выражение: "0 0/30 * * * ?" означает запуск в 0 и 30 минут каждого часа
+     */
+    @Scheduled(cron = "0 0/5 * * * ?")
+    public void scheduledParseAndStoreNews() {
+        logger.info("🔄 Запуск планового парсинга новостей с Kapital.kz...");
+        try {
+            List<MarketItem> savedItems = parseAndSaveRssFeed();
+            logger.info("✅ Плановый парсинг Kapital.kz завершен. Обработано записей: {}", savedItems.size());
+        } catch (Exception e) {
+            logger.error("❌ Ошибка при плановом парсинге Kapital.kz", e);
+        }
+    }
+
+    /**
+     * Основной метод для парсинга RSS-ленты и сохранения данных в MongoDB
+     */
+    public List<MarketItem> parseAndSaveRssFeed() {
+        List<MarketItem> savedItems = new ArrayList<>();
+
+        try {
+            logger.info("Начинаем парсинг RSS-ленты Kapital.kz: {}", rssFeedUrl);
+
+            // Получаем RSS-ленту
+            SyndFeed feed = getRssFeed();
+
+            if (feed == null) {
+                logger.error("Не удалось получить RSS-ленту Kapital.kz");
+                return savedItems;
+            }
+
+            logger.info("Получено {} записей из RSS-ленты Kapital.kz", feed.getEntries().size());
+
+            // Обрабатываем каждую запись
+            for (SyndEntry entry : feed.getEntries()) {
+                try {
+                    MarketItem marketItem = processRssEntry(entry);
+                    if (marketItem != null) {
+                        MarketItem savedItem = saveOrUpdateMarketItem(marketItem);
+                        if (savedItem != null) {
+                            savedItems.add(savedItem);
+                        }
+                    }
+                } catch (Exception e) {
+                    logger.error("Ошибка при обработке записи Kapital.kz: {}", entry.getTitle(), e);
+                }
+            }
+
+            logger.info("Успешно обработано {} записей из Kapital.kz", savedItems.size());
+
+        } catch (Exception e) {
+            logger.error("Ошибка при парсинге RSS-ленты Kapital.kz", e);
+        }
+
+        return savedItems;
+    }
+
+    /**
+     * Получение RSS-ленты
+     */
+    private SyndFeed getRssFeed() throws Exception {
+        URL feedUrl = URI.create(rssFeedUrl).toURL();
+        SyndFeedInput input = new SyndFeedInput();
+        try (XmlReader reader = new XmlReader(feedUrl.openStream())) {
+            return input.build(reader);
+        }
+    }
+
+    /**
+     * Обработка отдельной записи RSS
+     */
+    private MarketItem processRssEntry(SyndEntry entry) {
+        try {
+            // Извлекаем основные поля
+            String title = entry.getTitle();
+            String url = entry.getLink();
+            String description = getDescription(entry);
+
+            if (title == null || url == null) {
+                logger.warn("Пропускаем запись Kapital.kz с отсутствующими обязательными полями: title={}, url={}",
+                        title, url);
+                return null;
+            }
+
+            // Очищаем текст от HTML
+            String cleanText = cleanHtmlText(description);
+
+            // Преобразуем дату
+            LocalDateTime publishedAt = convertToLocalDateTime(entry.getPublishedDate());
+
+            // Генерируем хэш
+            String hash = generateHash(url, title);
+
+            // Создаем объект MarketItem с настройками для Kapital.kz
+            MarketItem marketItem = new MarketItem(url, title, publishedAt, cleanText, hash);
+            marketItem.setSourceName("Kapital.kz (Бизнес)");
+            marketItem.setCategory("Бизнес");
+
+            logger.debug("Обработана запись Kapital.kz: {}", title);
+
+            return marketItem;
+
+        } catch (Exception e) {
+            logger.error("Ошибка при обработке записи RSS Kapital.kz", e);
+            return null;
+        }
+    }
+
+    /**
+     * Извлечение описания из записи RSS
+     */
+    private String getDescription(SyndEntry entry) {
+        if (entry.getDescription() != null) {
+            return entry.getDescription().getValue();
+        }
+
+        // Пробуем получить содержимое из других полей
+        if (entry.getContents() != null && !entry.getContents().isEmpty()) {
+            return entry.getContents().get(0).getValue();
+        }
+
+        return "";
+    }
+
+    /**
+     * Очистка HTML-тегов из текста
+     */
+    private String cleanHtmlText(String htmlText) {
+        if (htmlText == null || htmlText.trim().isEmpty()) {
+            return "";
+        }
+
+        try {
+            return Jsoup.parse(htmlText).text();
+        } catch (Exception e) {
+            logger.warn("Ошибка при очистке HTML Kapital.kz: {}", e.getMessage());
+            return htmlText;
+        }
+    }
+
+    /**
+     * Преобразование даты в LocalDateTime
+     */
+    private LocalDateTime convertToLocalDateTime(java.util.Date date) {
+        if (date == null) {
+            return LocalDateTime.now();
+        }
+
+        return date.toInstant()
+                .atZone(ZoneId.systemDefault())
+                .toLocalDateTime();
+    }
+
+    /**
+     * Генерация SHA-256 хэша для дедупликации
+     */
+    private String generateHash(String url, String title) {
+        try {
+            String input = url + "::" + title;
+            MessageDigest digest = MessageDigest.getInstance("SHA-256");
+            byte[] hashBytes = digest.digest(input.getBytes(StandardCharsets.UTF_8));
+
+            StringBuilder hexString = new StringBuilder();
+            for (byte b : hashBytes) {
+                String hex = Integer.toHexString(0xff & b);
+                if (hex.length() == 1) {
+                    hexString.append('0');
+                }
+                hexString.append(hex);
+            }
+
+            return hexString.toString();
+
+        } catch (NoSuchAlgorithmException e) {
+            logger.error("Ошибка при генерации хэша Kapital.kz", e);
+            return String.valueOf((url + "::" + title).hashCode());
+        }
+    }
+
+    /**
+     * Сохранение или обновление записи в MongoDB (upsert)
+     */
+    private MarketItem saveOrUpdateMarketItem(MarketItem marketItem) {
+        try {
+            // Проверяем существование записи по хэшу
+            MarketItem existingItem = marketItemRepository.findByHash(marketItem.getHash()).orElse(null);
+
+            if (existingItem != null) {
+                // Обновляем существующую запись
+                existingItem.setTitle(marketItem.getTitle());
+                existingItem.setUrl(marketItem.getUrl());
+                existingItem.setPublishedAt(marketItem.getPublishedAt());
+                existingItem.setRawText(marketItem.getRawText());
+                existingItem.setSourceName(marketItem.getSourceName());
+                existingItem.setAddedAt(LocalDateTime.now()); // Обновляем время добавления
+
+                MarketItem savedItem = marketItemRepository.save(existingItem);
+                logger.debug("Обновлена существующая запись Kapital.kz: {}", marketItem.getTitle());
+                return savedItem;
+            } else {
+                // Создаем новую запись
+                MarketItem savedItem = marketItemRepository.save(marketItem);
+                logger.debug("Создана новая запись Kapital.kz: {}", marketItem.getTitle());
+                return savedItem;
+            }
+
+        } catch (Exception e) {
+            logger.error("Ошибка при сохранении записи Kapital.kz: {}", marketItem.getTitle(), e);
+            return null;
+        }
+    }
+
+    /**
+     * Получение статистики по сохраненным записям Kapital.kz
+     */
+    public long getKapitalItemsCount() {
+        return marketItemRepository.count();
+    }
+
+    /**
+     * Получение всех сохраненных записей Kapital.kz
+     */
+    public List<MarketItem> getAllKapitalItems() {
+        return marketItemRepository.findAll();
+    }
+}
@@ -39,7 +39,7 @@ public class KursivParserService {
     * Автоматический запуск парсинга каждые 30 минут
     * Cron выражение: "0 0/30 * * * ?" означает запуск в 0 и 30 минут каждого часа
     */
-    @Scheduled(cron = "0 0/30 * * * ?")
+    @Scheduled(cron = "0 0/5 * * * ?")
    public void scheduledParseAndStoreNews() {
        logger.info("🔄 Запуск планового парсинга новостей с Kursiv.media...");
        try {
@@ -5,8 +5,9 @@ spring.data.mongodb.host=92.38.48.166
 spring.data.mongodb.port=27017
 spring.data.mongodb.database=parser_db

-# RSS Feed URL
+# RSS Feed URLs
 rss.feed.url=https://kursiv.media/feed/
+rss.kapital.url=https://kapital.kz/rss/

 # Scheduler Configuration
 spring.task.scheduling.pool.size=2