VK Posts Parser - шаблон для программы ZennoPoster предназначенный для парсинга/граббинга постов со стен сообществ и/или профилей в ВК.
Если у вас нет программы ZennoPoster и вы не хотите ее покупать, то можно выписать так называемый ZennoBox который позволит вам запускать шаблон. Подробнее об этом в самом конце этого поста.
С помощью этого шаблона можно:
Результат работы шаблона
Результат состоит из двух составляющих:
1) Папки с выкаченными постами или их отдельными элементами. Какие конкретно элементы выкачивать вы задаете самостоятельно во входных настройках
2) CSV (Excel) файл с прошедшими все фильтры постами и их параметрами. Создается всегда.
Пример CSV файла с результатом парсинга. Таблица слишком широкая и не умещается на один экран, поэтому прикрепляю 2 скриншота (второй после скрола вправо).
после скрола вправо до упора
Расшифровка столбцов CSV файла:
URL - это URL адрес конкретного поста в ВК.
timestamp - время публикации поста в формате Unix (количество секунд, прошедших с полуночи 1 января 1970 года). Чем свежее пост, тем больше эта цифра. Колонка удобна для сортировки постов по дате публикации.
datetime - время публикации поста в привычном нам формате ДД.ММ.ГГГГ ЧЧ:ММ ... при фильтрации данных в Excel удобно выделять определенные годы / месяцы / дни.
type - может иметь значение post или repost
views - количество просмотров
likes - количество лайков (отметок нравится)
reposts - количество репостов
comments - количество комментариев
ltr - лайкабельность поста в % ( ltr = (likes/views)*100% )
rtr - репостабельность поста в % ( rtr = (reposts/views)*100% )
ctr - комментируемость поста в % ( ctr = (comments/views)*100% )
images - количество картинок
video_total - общее количество видео в посте
video_vk - количество видео VK
video_youtube - количество видео с YoutTube
video_vimeo - количество видео с Vimeo
audio - количество аудиозаписей
doc_total - общее количество документов
doc_gif - количество документов GIF
doc_word - количество документов Word
doc_excel - количество документов Excel
doc_pdf - количество документов PDF
doc_ppt - колчичество документов PPT (Power Point)
text_len - количество симоволов текста
int_links - ( no/yes) - наличие внутренних ссылок
ext_links - ( no/yes) - наличие внешних ссылок
is_ads - помечен ли пост как реклама ( 1 - да | 0 - нет )
is_article - является ли пост ссылкой на статью (1 - да | 0 - нет)
can_comment - можно ли комментировать пост (1 - да | 0 - нет)
can_repost - можно ли репостнуть пост (1 - да | 0 - нет)
signer_id - идентификатор автора, если запись была опубликована от имени сообщества и подписана пользователем;
Про статьи ( articles )
Шаблон работает именно с постами, статьи он не грабит! Во-первых, статья это вообще отдельная сущность, а не пост в привычном понимании этого слова. Когда Вы на какой-либо стене видите пост со ссылкой/кнопкой "Читать", то это именно то чем кажется - пост с прикрепленной ссылкой на статью, а не сама статья. Именно так он и грабится как пост состоящий из ссылки на статью.
Таким образом, запретив в фильтрах внутренние ссылки, вы исключите все посты ссылающиеся на статьи! Так же это можно сделать в Excel, отфильтровав по полю is_article
Еще немного про шаблон
На данный момент музыка из постов не выкачивается! (надеюсь временно)
Раньше была возможность получить .mp3 файл, но теперь ВК стал хранить аудио в другом формате - M3U8 - это такой плейлист-контенейнер в котором находятся ссылки на множество кусочков в формате .ts ... и что бы получить привычный нам mp3 нужно эти .ts файлы скачать, склеить и перекодировать в MP3. На ум сразу же пришел FFMPEG, он умеет работать с таким форматом, но к сожалению тесты показали что периодически при работе с такими файлами он подвисает и вешает весь поток т.ч от него пришлось отказаться. Пока за неимением хороших вариантов убрал пункт отвечающий за сохранение аудио. Все остальное качается как и прежде. Так что прошу иметь это ввиду!
DEMO-версия
Если у вас имеется ZennoPoster, то вы можете убедиться в работоспособности шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов.
Скачать DEMO с Google Drive
Инструкция внутри архива - файл instruction.docx
Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим.
Стоимость шаблона
1 месяц - 750 руб (экономия 0 руб)
3 месяца - 1950 руб (получается 650/месяц, экономия 300 руб)
6 месяцев - 3300 руб (получается 550/месяц, экономия 1200 руб)
12 месяцев - 5400 руб (получается 450 руб/месяц, экономия 3600 руб )
Апдейты / обновления
Багфиксы и обновления бесплатные.
Контакты
* Telegram: https://t.me/volkovguru
* Email: profitbunker(собака)gmail.com
Если есть возможность, то отвечаю сразу, если нет, то как только такая возможность появится. Поэтому не нужно отдельно писать "привет", "как дела?", "есть вопрос" и ждать ответа ... сразу пишите что Вы с форума античат по поводу VK Posts Parser и свой вопрос.
Если у вас нет ZennoPoster, но хочется использовать шаблон
В этом случае можно сделать так называемый ZennoBox, который позволит вам запускать только купленные вами шаблоны.
За каждую выписку шаблона в ZennoBox необходимо заплатить ZennoLab-у (разработчикам zennoposter) разовый платеж в $10, который естественно перекладываются на конечного покупателя т.е на вас. Эти $10 прибавляются к стоимости аренды шаблона.
Если у вас нет программы ZennoPoster и вы не хотите ее покупать, то можно выписать так называемый ZennoBox который позволит вам запускать шаблон. Подробнее об этом в самом конце этого поста.
С помощью этого шаблона можно:
- Отбирать посты по множеству различных фильтров
- Собрать подробную информацию о различных параметрах постов (CSV)
- Выкачивать посты целиком или их отдельные элементы
- SMM-специалистам
- Контент-менеджерам и тем кто ведет свои сообщества в различных соцсетях
- Рекламщикам, маркетологам, аналитикам
- Дорвейщикам, арбитражникам, сеошникам
- Тем кому просто нужно скачать содержимое постов со стены или их отдельные элементы к себе на ПК
Результат работы шаблона
Результат состоит из двух составляющих:
1) Папки с выкаченными постами или их отдельными элементами. Какие конкретно элементы выкачивать вы задаете самостоятельно во входных настройках
2) CSV (Excel) файл с прошедшими все фильтры постами и их параметрами. Создается всегда.
Пример CSV файла с результатом парсинга. Таблица слишком широкая и не умещается на один экран, поэтому прикрепляю 2 скриншота (второй после скрола вправо).
после скрола вправо до упора
Расшифровка столбцов CSV файла:
URL - это URL адрес конкретного поста в ВК.
timestamp - время публикации поста в формате Unix (количество секунд, прошедших с полуночи 1 января 1970 года). Чем свежее пост, тем больше эта цифра. Колонка удобна для сортировки постов по дате публикации.
datetime - время публикации поста в привычном нам формате ДД.ММ.ГГГГ ЧЧ:ММ ... при фильтрации данных в Excel удобно выделять определенные годы / месяцы / дни.
type - может иметь значение post или repost
views - количество просмотров
likes - количество лайков (отметок нравится)
reposts - количество репостов
comments - количество комментариев
ltr - лайкабельность поста в % ( ltr = (likes/views)*100% )
rtr - репостабельность поста в % ( rtr = (reposts/views)*100% )
ctr - комментируемость поста в % ( ctr = (comments/views)*100% )
images - количество картинок
video_total - общее количество видео в посте
video_vk - количество видео VK
video_youtube - количество видео с YoutTube
video_vimeo - количество видео с Vimeo
audio - количество аудиозаписей
doc_total - общее количество документов
doc_gif - количество документов GIF
doc_word - количество документов Word
doc_excel - количество документов Excel
doc_pdf - количество документов PDF
doc_ppt - колчичество документов PPT (Power Point)
text_len - количество симоволов текста
int_links - ( no/yes) - наличие внутренних ссылок
ext_links - ( no/yes) - наличие внешних ссылок
is_ads - помечен ли пост как реклама ( 1 - да | 0 - нет )
is_article - является ли пост ссылкой на статью (1 - да | 0 - нет)
can_comment - можно ли комментировать пост (1 - да | 0 - нет)
can_repost - можно ли репостнуть пост (1 - да | 0 - нет)
signer_id - идентификатор автора, если запись была опубликована от имени сообщества и подписана пользователем;
Про статьи ( articles )
Шаблон работает именно с постами, статьи он не грабит! Во-первых, статья это вообще отдельная сущность, а не пост в привычном понимании этого слова. Когда Вы на какой-либо стене видите пост со ссылкой/кнопкой "Читать", то это именно то чем кажется - пост с прикрепленной ссылкой на статью, а не сама статья. Именно так он и грабится как пост состоящий из ссылки на статью.
Таким образом, запретив в фильтрах внутренние ссылки, вы исключите все посты ссылающиеся на статьи! Так же это можно сделать в Excel, отфильтровав по полю is_article
Еще немного про шаблон
- Работает по POST/GET запросах без использования браузера, для получения данных использует VK API
- Умеет работать с прокси (хотя в большинстве случаев можно обойтись и без них)
- Умеет работать с антикапча-сервисами antigate (anti-captcha) и rucaptcha + есть возможность разгадывать капчу вручную или через CapMonster2. Сразу хочу сказать что встретить капчу при таком виде парсинга - это еще ой как нужно постараться
![[IMG]](https://zennolab.com/discussion/xray_smailes/ad.gif "[IMG]")
- Рекомендуется запуск в 1 поток т.к каждый поток использует ВСЕ имеющиеся аккаунты ВК, они меняются при каждом новом обращении к API ... это позволяет парсить действительно крупные сообщества.
- Для работы нужны аккаунты ВК и возможно прокси. Для небольших сообществ хватит и 1 аккаунта без прокси, но если парсить нужно крупные сообщества, то желательно иметь несколько акков ВК! Я, например, использую 4-5 аккаунтов без прокси, хватает для парсинга практически любых сообществ.
- Написан целиком на C#
- Лицензионный ключ привязывается к вашему Zenno ID. Если у вас несколько ZennoPoster-ов купленных в одном личном кабинете ZennoLab, то шаблон будет работать на каждом из них (так как у них одинаковый ZennoID), но не одновременно! Что бы перейти с одного ZP на другой шаблон должен не работать на первом 30 минут.
- Шаблон закрыт от редактирования и имеет права только на выполнение.
- Шаблон будет работать на версиях ZP от 5.10.2.0
- Шаблон после покупки нельзя переоформить на другой email/id т.е вы не можете его перепродать или передать кому-то еще
- У меня нет манибэка! Если после покупки шаблона он вдруг по какой-либо причине стал вам не нужен, тема под которую вы хотели его использовать умерла или не оправдала себя, вы вдруг поняли что в интернете денег нет, то все эти аргументы не принимаются!
На данный момент музыка из постов не выкачивается! (надеюсь временно)
Раньше была возможность получить .mp3 файл, но теперь ВК стал хранить аудио в другом формате - M3U8 - это такой плейлист-контенейнер в котором находятся ссылки на множество кусочков в формате .ts ... и что бы получить привычный нам mp3 нужно эти .ts файлы скачать, склеить и перекодировать в MP3. На ум сразу же пришел FFMPEG, он умеет работать с таким форматом, но к сожалению тесты показали что периодически при работе с такими файлами он подвисает и вешает весь поток т.ч от него пришлось отказаться. Пока за неимением хороших вариантов убрал пункт отвечающий за сохранение аудио. Все остальное качается как и прежде. Так что прошу иметь это ввиду!
DEMO-версия
Если у вас имеется ZennoPoster, то вы можете убедиться в работоспособности шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов.
Скачать DEMO с Google Drive
Инструкция внутри архива - файл instruction.docx
Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим.
Стоимость шаблона
1 месяц - 750 руб (экономия 0 руб)
3 месяца - 1950 руб (получается 650/месяц, экономия 300 руб)
6 месяцев - 3300 руб (получается 550/месяц, экономия 1200 руб)
12 месяцев - 5400 руб (получается 450 руб/месяц, экономия 3600 руб )
Апдейты / обновления
Багфиксы и обновления бесплатные.
Контакты
* Telegram: https://t.me/volkovguru
* Email: profitbunker(собака)gmail.com
Если есть возможность, то отвечаю сразу, если нет, то как только такая возможность появится. Поэтому не нужно отдельно писать "привет", "как дела?", "есть вопрос" и ждать ответа ... сразу пишите что Вы с форума античат по поводу VK Posts Parser и свой вопрос.
Если у вас нет ZennoPoster, но хочется использовать шаблон
В этом случае можно сделать так называемый ZennoBox, который позволит вам запускать только купленные вами шаблоны.
За каждую выписку шаблона в ZennoBox необходимо заплатить ZennoLab-у (разработчикам zennoposter) разовый платеж в $10, который естественно перекладываются на конечного покупателя т.е на вас. Эти $10 прибавляются к стоимости аренды шаблона.