Типы источников
Ниже — типы источников, с которыми Verilyze может работать, если материалы публично доступны и технически достижимы для конкретной задачи.
- СМИ
- Публичные материалы новостных и отраслевых изданий, новостные сайты, публикации и доступные метаданные. Охват конкретного издания зависит от сайта, языка и возможности законно получить материал.
- Telegram
- Публично доступные каналы и материалы, если они технически доступны. Verilyze не заявляет доступ к приватным каналам, закрытым чатам и личным перепискам.
- VK и социальные сети
- Публичные материалы, доступные через официальные механизмы платформы или иные законные способы получения публичных данных. Состав полей и полнота зависят от API, публичности объекта и ограничений платформы.
- Web
- Сайты компаний, официальные публикации, тематические ресурсы и другие публичные веб-страницы, которые можно собрать для задачи. Доступность зависит от ресурса, robots-ограничений и устойчивости страницы.
- Блоги, форумы и сообщества
- Публичные обсуждения и авторские материалы, если они доступны и подключены под задачу. Это не каталог «всех форумов интернета» и не обещание полного исторического архива.
- Пользовательские материалы
- Документы, файлы, ссылки, тексты и другие материалы, которые заказчик передаёт в рамках аналитической задачи. Права на такие материалы и законность их передачи остаются на стороне заказчика.
Какие данные извлекаются
Нужно разделять поля, полученные из источника, и аналитические признаки, которые считает Verilyze.
Данные источника, если они доступны: текст публикации, заголовок, URL, дата публикации, идентификатор источника, доступные публичные метрики и другие метаданные, которые отдал ресурс.
Производные признаки Verilyze: упоминания, сущности, события, тональность, связи, аномалии, оценка риска и модельные выводы. URL и дата публикации — данные источника. Тональность и риск — аналитический результат системы.
Если источник не отдал поле, Verilyze не заполняет его выдуманным значением. Отсутствие поля в карточке не доказывает, что его не было в действительности.
Coverage и ограничения сбора
Verilyze не публикует процент покрытия интернета, Telegram, VK или СМИ, потому что такое число нельзя честно измерить одним показателем. Coverage зависит от платформы, географии, языка, API, rate limits, изменений условий доступа и доступности конкретного источника.
- Платформа может ограничить API, изменить правила или закрыть ранее публичные материалы.
- Публикация может быть удалена, отредактирована или перенесена после сбора.
- Региональные и языковые срезы не равны «всему информационному полю».
- Технические сбои, блокировки и rate limits влияют на полноту корпуса.
Если позже появятся измеримые срезы покрытия, они будут опубликованы как таблица с датой, методом и ограничениями. До этого любые красивые проценты были бы вымыслом.
Что Verilyze не собирает
- Verilyze не заявляет доступ к закрытым личным перепискам.
- Verilyze не гарантирует полный охват всего интернета, всех СМИ, всего Telegram или всей VK.
- Verilyze не должен обходить авторизацию, технические средства защиты и получать приватные данные, доступ к которым не предоставлен законно.
- Наличие типа источника в интерфейсе не означает, что любой объект этой платформы уже собирается.
Эти ограничения согласованы с уведомлением об обработке данных из открытых источников и условиями использования.
Свои источники
Пользователь может добавить в задачу собственные документы, файлы, ссылки и тексты. Это основной способ расширить корпус материалами, которых нет в открытом сборе.
Подключение дополнительных типов источников или отдельных площадок под конкретную задачу на текущем этапе выполняется как заказная настройка, а не как самообслуживаемый каталог в интерфейсе MVP. Если нужен конкретный источник — напишите или оставьте заявку на инвайт.
Сводка по типам
| Тип | Примеры | Публичные данные | Ограничения |
|---|---|---|---|
| СМИ | новостные сайты, отраслевые издания | Да, если материал публично доступен | зависит от сайта, языка и доступа |
| Telegram | публичные каналы | Да, только доступные источники | без приватных каналов и личных чатов |
| VK и соцсети | публичные материалы | Да, в пределах публичности и API | API, публичность, правила платформы |
| Web | сайты и официальные публикации | Да, если страница доступна | зависит от ресурса и устойчивости URL |
| Блоги / форумы | публичные обсуждения | Да, если подключены под задачу | не полный архив платформы |
| Свои материалы | документы, файлы, ссылки, тексты | предоставлены клиентом | права доступа и законность передачи — на стороне клиента |
Правовые и этические рамки
Сбор из открытых источников не отменяет требования законности цели, соразмерности обработки и ограничений владельцев площадок. Пользователь не вправе ставить задачи, которые предполагают обход защиты, несанкционированный доступ или иное противоправное получение данных.
Подробнее: уведомление OSINT, политика обработки персональных данных и условия использования. Как из собранных документов получаются сущности, события и риски — в методологии.