Как спарсить из телеграм-канала сообщения, опубликованные за последние 5 минут? (Python, Telethon)
Есть задача спарсить и загрузить в json-файл сообщения из определенного телеграм-канала с помощью Python (я использую библиотеку Telethon).
Но нужны не все посты, а только те, что были опубликованы за последнее время, например, 5 минут.
Для получения всех сообщений использовал такой код:
from telethon import TelegramClient from telethon.errors import SessionPasswordNeededError from telethon.tl.functions.messages import (GetHistoryRequest) from telethon.tl.types import ( PeerChannel ) # Setting configuration values api_id = 57272 api_hash = '. ' phone = '. ' username = '. ' # Create the client and connect client = TelegramClient(username, api_id, api_hash) async def main(phone): await client.start() print("Client Created") # Ensure you're authorized if await client.is_user_authorized() == False: await client.send_code_request(phone) try: await client.sign_in(phone, input('Enter the code: ')) except SessionPasswordNeededError: await client.sign_in(password=input('Password: ')) me = await client.get_me() user_input_channel = input('enter entity(telegram URL or entity id):') if user_input_channel.isdigit(): entity = PeerChannel(int(user_input_channel)) else: entity = user_input_channel my_channel = await client.get_entity(entity) offset_id = 0 limit = 100 all_messages = [] total_messages = 0 total_count_limit = 0 while True: print("Current Offset ID is:", offset_id, "; Total Messages:", total_messages) history = await client(GetHistoryRequest( peer=my_channel, offset_id=offset_id, offset_date=None, add_offset=0, limit=limit, max_id=0, min_id=0, hash=0 )) if not history.messages: break messages = history.messages for message in messages: all_messages.append(message.to_dict()) offset_id = messages[len(messages) - 1].id total_messages = len(all_messages) if total_count_limit != 0 and total_messages >= total_count_limit: break with client: client.loop.run_until_complete(main(phone)) Как теперь заставить его парсить только последние сообщения?
Как парсить телеграмм канал в онлайне?
Функция забора ID канала и обработка сообщений и медиа файлов:
from telethon.tl.types import MessageEntityTextUrl from glob import glob from dateutil.relativedelta import relativedelta # pip3 install python-dateutil import datetime import os import asyncio async def get_channel_id(client, link): # получение ID канала m = await client.get_messages(link, limit=1) channel_id = m[0].peer_id.channel_id return str(channel_id) def clearify_text(msg): # очищение текста от символов гиперссылки text = msg.message text_splitted = text.split() text_listed = [word for word in text_splitted if word != ' '] return " ".join(text_listed) async def get_message_content(client, msg, url, channel_name, directory_name): # получение содержимого сообщения msg_date = str(msg.date) # дата отправки сообщения msg_url = url + '/' + str(msg.id) # каст ссылки на сообщение file = open(f"//_meta.txt", 'a+') # запись метаданных сообщения file.write(msg_url) file.write('\n' + msg_date) file.close() if msg.message: # если сообщение содержит текст, запись этого текста в текстовый файл в папке сообщения text = clearify_text(msg=msg) file = open(f"//.txt", "w") file.write(text) file.close() if msg.media: # если сообщение содержит медиа (фото, видео, документы, файлы), загрузка медиа в папку сообщения await client.download_media(message=msg, file=f"/") if msg.entities: # запись гиперссылок из текста сообщения в файл сообщения urls = [ent.url for ent in msg.entities if isinstance(ent, MessageEntityTextUrl)] file = open(f"//.txt", mode='a+') for u in urls: file.write('\n' + u) file.close() async def find_last_parsed_date(path): # определение даты, с которой начинать парсинг paths = glob(f"/*/*meta.txt", recursive=True) # поиск существующих метаданных по уже собранным сообщениям oldest = datetime.datetime.strptime("1970-01-01 00:00:00+00:00", "%Y-%m-%d %H:%M:%S%z") temp = oldest for p in paths: # поиск даты отправки последнего сообщения with open(p, 'r') as file: date = datetime.datetime.strptime(file.readlines()[-1], "%Y-%m-%d %H:%M:%S%z") if date > oldest: oldest = date if temp == oldest: oldest = datetime.datetime.now() - relativedelta(months=3) # если сообщений нет, офсет устанавливается на # три месяца от текущей даты return oldest async def parse(client, url): # сбор сообщений из канала err = [] # переменная возможной ошибки channel_id = await get_channel_id(client, url) # получение ID канала os.makedirs(channel_id, exist_ok=True) # создание папки канала в текущей директории oldest = await find_last_parsed_date(channel_id) # получение даты, с которой начинать парсинг async for message in client.iter_messages(url, reverse=True, offset_date=oldest): # итератор по сообщениям (урл - ссылка # на канал, реверс - итерация от старых # к новым, офсет - дата с которой # начинать парсинг try: directory_name = str(message.id) # получение ID сообщения os.makedirs(f"/", exist_ok=True) # создание папки сообщения await get_message_content(client, message, url, channel_id, directory_name) # обработка сообщения except Exception as passing: # обработка ошибок err.append(passing) continue return err # возврат возможных ошибокЧтобы записалась история сообщений в канале, надо запустить скрипт заново, а мне нужно чтобы это можно было сделать в онлайне (без перезапуск скрипта), долго искал информацию, но не нашёл ничего годного для моего кода, прошу, пожалуйста, помочь
- Вопрос задан 10 дек. 2023
- 82 просмотра
Как написать парсер телеграм‑каналов на Python
В предыдущей статье об асинхронном программировании на Python мы разобрали основные моменты, связанные с построением асинхронного приложения и функций. Теперь рассмотрим полезный пример, который вовсю использует принципы асинхронности, — простой парсер данных из Telegram
Содержание статьи
- async for
- Как написать парсер телеграм-каналов на Python
- Шаг 1. Создаем приложение API для Telegram
- Шаг 2. Устанавливаем библиотеку telethon
- Шаг 3. Получаем первые данные из Telegram
- Шаг 4. Получаем диалоги
- Шаг 5. Получаем сообщения из выбранного канала
async for
Чтобы пример с парсером был понятнее, сначала поговорим о циклах внутри асинхронных функций. Вспомним финальный пример из первой части статьи, посвященной асинхронному программированию на Python, с получением данных о погоде.
Добавим еще одну функцию, которая будет отображать прогресс измерения давления.
Теперь, если мы запустим приложение, будем видеть прогресс измерения давления.
Все хорошо отрабатывает, и проблем нет. Но пойдем дальше в сторону реальных условий работы. Бывает, что функции отдают не готовую последовательность, а асинхронный генератор или асинхронный итератор. Это специальные контейнеры, которые содержат данные и при каждом обращении асинхронно выдают по одному объекту.
Перепишем функцию процесса измерения.
Раз функция def ticker ( ) теперь генератор, то мы должны каждый раз его вызывать, когда она нам понадобится. Классический способ перебора всех значений, возвращаемых генератором, — это подстановка его вызова в цикл for. Перепишем функцию измерения давления.
Теперь, если запустим код, столкнемся с интересной ошибкой.
Из текста может показаться, что генератор не является итерируемым объектом. Но на самом деле проблема здесь в другом. Мы работаем с асинхронным генератором, а значит, и цикл, который его перебирает, тоже должен быть асинхронным.
Все снова отлично работает! Зачем это нужно, спросите вы? Прямо сейчас и узнаем.
Как написать парсер телеграм-каналов на Python
Основы языка Python
Курс для всех, а не только для IT-специалистовTelegram — один из самых популярных источников контента. Каналов в мессенджере столько, что следить за всеми самостоятельно просто нереально, не говоря уж об использовании и анализе получаемой информации.
Но зачем все делать вручную, когда за нас это может сделать приложение? Совместим приятное с полезным: напишем приложение для парсинга данных из любого телеграм-канала и параллельно закрепим тему асинхронных компонентов.
- Все о парсинге данных на бесплатном вебинаре Контур.Школы.
Шаг 1. Создаем приложение API для Telegram
Для начала необходимо завести аккаунт в Telegram, если его еще нет. Затем переходим по ссылке https://my.telegram.org/auth и авторизуемся с помощью номера телефона.
Код подтверждения придет прямо в мессенджере Telegram. Необходимо его ввести в поле Confirmation code.
.png)
В открывшемся окне переходим по ссылке API Development Tools. Вас перебросит в окно создания приложения. Необходимо заполнить основные поля.
Значения полей можно указывать любые. Для нас они не играют особой роли. Ставим точку напротив Desktop и подтверждаем заполнение кнопкой Create application.
Следующее окно отобразит важные параметры вашего приложения, которые нам и будут нужны для создания приложения на Python, — это App api_id и App api_hash.
Шаг 2. Устанавливаем библиотеку telethon
Теперь у нас есть все необходимое, чтобы приступить к созданию приложения в Python. Первым делом нам понадобится библиотека telethon, чтобы авторизоваться и получить доступ к данным аккаунта. Устанавливаем ее обычным способом.
Далее импортируем необходимые модули и сразу создадим переменные с данными для авторизации.
Естественно, в серьезных приложениях авторизационные данные не хранятся в таком открытом виде. Обычно используются переменные окружения, содержимое которых не раскрывается.
Следующий шаг — авторизация приложения и создание сессионного файла. Допишем следующую строку:
Здесь ‘test_tg’ — это название файла, который будет создан для хранения авторизационных данных приложения. Далее необходимо создать тот самый цикл обработки событий (event loop). Это будет асинхронная функция main ( ) , в которой мы пока напишем команду-заглушку pass. И сразу запустим этот цикл, используя один из методов запуска библиотеки telethon.
Теперь наше приложение необходимо запустить, чтобы пройти одноразовую авторизацию. Примерно так же вы устанавливаете приложение на компьютер и авторизуете его с помощью QR-кода. Запустите приложение — и в окне терминала увидите приглашение ввести проверочный код.
Можно ввести номер телефона — тогда следующее сообщение попросит одноразовый код, который придет в Telegram.
Если все выполнили верно, то ниже в терминале получите сообщение:
А также в списке файлов появится файл с авторизационными данными, имеющий расширение *.session.
Готово! Все последующие запуски вашего приложения уже будут выполняться без запроса одноразовых паролей. И код, написанный в обработчике событий main ( ) , будет сразу исполняться.
Шаг 3. Получаем первые данные из Telegram
Настало время сбора данных. Начнем с того, что у telethon есть неплохая документация, основные методы из которой мы и рассмотрим. Первая информация, которая нам доступна, — о нашем аккаунте.
Если проверим тип полученного объекта, то увидим знакомое сообщение.
Мы получаем корутину. То есть все методы клиента Telegram асинхронны. Еще бы — без асинхронности мы не смогли бы получать информацию одновременно из нескольких чатов, а отправка фотографии другу вообще застопорила бы все процессы на глобальном уровне.
Поэтому все методы вызываем только через await.
Полученный объект me содержит огромное количество свойств, включая ваше имя, фамилию, номер телефона, фотографию и много еще чего персонального, что афишировать не нужно. Просмотреть содержимое объекта удобно в режиме отладки.
Шаг 4. Получаем диалогиЧтобы получить список диалогов, воспользуемся еще одним методом клиента .get_dialogs( ).
В dialogs получим общее количество диалогов. Оно включает не только каналы, на которые мы подписаны, но и личные переписки. Можете посмотреть их количество в отладчике или воспользоваться функцией len(dialogs) и испытать шок от итогового количества. У меня 1540 диалогов.
Зачем специалисту Python
Бесплатный вебинар в Контур.ШколеТак как в dialogs нам, по сути, возвращается итерируемый объект, мы можем легко его перебрать с помощью обычного цикла for, чтобы найти именно тот канал или переписку, которые нам нужны.
Каждый элемент полученного dialogs — это объект класса Dialog библиотеки telethon. Посмотреть методы и свойства этого объекта можно в документации. Переберем диалоги по названиям и найдем нужный.
Шаг 5. Получаем сообщения из выбранного каналаУбедитесь, что нужный канал находится и вы получаете об этом сообщение. Когда канал у вас на руках, можно получить из него все сообщения, которые когда-либо были написаны.
Воспользуемся методом client.iter_messages(dialog), чтобы получить сообщения.
- Важно посмотреть на тип полученного значения у messages.
Получаем не готовый список, как в случае с диалогами, а итератор. Это не должно быть проблемой, потому что элементы итератора мы можем получить так же, как и элементы списка, — закинуть в цикл for.
Если теперь запустим приложение, то текстов сообщений мы не увидим, а получим ошибку.
Это именно то, о чем мы говорили в начале: нужен асинхронный for, чтобы перебирать элементы асинхронного итератора. Исправим эту ошибку и получим желаемый результат.
Единственное, что рекомендуется добавить, — обычную задержку между чтением каждого сообщения во избежание блокировок вашего аккаунта со стороны сервисов Telegram. Пусть будет медленно, зато спокойно и уверенно.
Напоследок рекомендуем также ознакомиться со всеми свойствами и методами объекта message. Основные из них, которые могут пригодиться при сборе полных данных, вынесены в таблицу.
date Свойство Содержит дату сообщения edit_date Свойство Содержит дату редактирования сообщения file Свойство Содержит файл, который приложен к сообщению download_media( ) Метод Позволяет загрузить файл, приложенный к сообщению is_reply Свойство Показывает, является ли сообщение ответом на другое сообщение forward Свойство Содержит информацию о первоисточнике, если текущее сообщение было переслано Конечно, в разных ситуациях могут потребоваться разные данные, но у этой статьи нет цели перепечатать всю документацию библиотеки telethon. На этой полезной ноте мы и завершим наше знакомство с асинхронным миром программирования.
Парсинг Телеграм каналов и чатов своими руками
Мы уже рассказывали про Телеграм-боты для пробива. Сегодня продолжим говорить про телегу и рассмотрим еще одну популярную тему — парсинг телеграм каналов и чатов.
Последнее время, на всяких компьютерных форумах и сайтах часто поднимают вопрос парсинга чатов и каналов Телеграм. Некоторые пытаются впарить свои сервисы, которые как правило еще то разводилово. Другие, делая умный, вид пытаются чему-то научить. Непорядок подумал я посмотрев на это дело и решил самостоятельно разобраться.
Парсинг телеграм каналов и чатов
В данной статье я постараюсь понятным языком (даже для далеких от программирования пользователей) рассказать, как парсить Телеграм, что можно сделать, а что нельзя и насколько это трудоемко. Заранее предупреждаю. Я не буду выкладывать готовые исходники, но покажу примеры для наглядности.
Всем известно, что в телеге существуют чаты и каналы, где иногда кучкуются большое количество пользователей. Стоит иметь список юзеров, например для рассылки или приглашений.
Как правило под словом «парсинг» в контексте Telegram подразумевается получение списка пользователей чата или канала. Но иногда, еще и получение списка сообщений.
Кстати, если вас интересует деанон пользователя Телеграм, очень рекомендую прочитать статью «Как узнать информацию о пользователе Telegram».
Парсинг телеграм каналов
Канал — это площадка в Телеграм, где подписчикам разрешается только читать сообщения создателя канала. Писать коментарии юзеры не могут, за исключением тех случаев, когда к каналу Telegram привязан чат для комментариев. Тогда у пользователей появляется возможность комментировать сообщения канала.
Вы можете получить список подписчиков канала без привязанного к нему чата с комментариями, только если это ваш канал и у него менее 200 пользотелей. Если какое-то из этих условий не выполняется, парсинг Телеграм реализовать не получится и никто не сможет его провести, что бы вам там ни обещали. Может быть, в ближайщем будущем появятся новые способы, но на даннй момент рабочих способов не существует.
Если к каналу привязан чат с комментариями, тогда спарсить пользователей телеги вы сможете точно так же, как в случае с каким-ниобудь чатом.
Список сообщений на канале можно получить двумя способами: программно, через API Telegram и ручками, экспортом списка сообщений с помощью клиента.
Для этого в меню чата выбираем пункт «Экспорт».
После этого выбираем формат для экспорта и жмем «Сохранить».
Парсинг телеграм чатов
С чатами гораздо интереснее. Вручную вытащить список юзеров через стандартный клиент не получится, разве что сидеть с блокнотом и ручкой и выписывать всю интересующую информацию. Способ не очень, так что придется посмотреть в сторону родного API Телеграм или, если хотите упростить себе жизнь, на какую‑нибудь библиотеку, например Telethon.
В Telethon есть функция GetParticipantsRequest, которая получает на вход некую сущность (entity), а на выходе выдает список пользователей.
Итак, попробуем скормить ей какой‑нибудь чат.