Ferramentas of-scraper agora com suporte a DRM

  • Criador do tópico Criador do tópico graytin6
  • Data de início Data de início
graytin6

graytin6

Lurker
Entrou
1 Abr 2023
Postagens
21
Pontuação de reações
0
ofscraper
ofscaper é um fork do onlyfans-scraper com recursos e correções adicionais.
Muitas dessas mudanças são relacionadas ao gerenciamento de arquivos. Por exemplo, com as mudanças feitas você pode controlar quais tipos de arquivos são baixados, e ter mais controle sobre o destino final desses arquivos. Também adicionamos suporte para arquivos de metadados.
Para quem atualmente usa o script do digitalcriminals. Estamos usando a mesma estrutura user_data.db. Então esses arquivos são totalmente compatíveis. Desde que você use uma configuração adequada para metadata no seu config.json. Seu user_data.db pode ser usado para pular arquivos já baixados.
Executando
Código: 
ofscraper
Permite não só fazer scrape de conteúdo, mas também curtir e descurtir em lote
Também permite gerenciar a maior parte do programa. Por exemplo trocar de perfil, mudar configurações, e até resetar o arquivo de auth
Para usuários que se sentem à vontade com linha de comando, oferecemos a possibilidade de aumentar a automação e pular qualquer menu
Por exemplo um comando que venho usando é
Código: 
ofscraper --posts all --purchased --renewal disabled --sub-status active --account-type paid
Que serve só para fazer scrape de todo conteúdo do wall e conteúdo pago. Apenas para contas pagas, que estão ativas, e com renovação desativada
Também tem um daemon disponível
Código: 
--daemon {minutes}
Mudanças
Muitas das mudanças podem ser vistas em changes.md
Mas algumas das que eu gosto são
- fazer scrape de mensagens, e conteúdo pago de modelos específicas
- filtrar por tipo de conta, status de assinatura, e status de renovação
- busca aproximada ao selecionar modelo
- possibilidade de selecionar tipo específico de posts para baixar
- suporte a daemon em segundo plano
A ideia é ser um programa bem direto. Por enquanto o plano é dar suporte só ao onlyfans, já que existem outros scripts que podem dar suporte ao fansly por exemplo.
Links
Repo
Pypi
 
Testei rapidinho esse script, e funciona super bem. Mas encontrei quatro bugs pequenos:
Primeiro tive run failed with exception: 'text' em um único perfil, resultando em nenhum download. Mas não consegui reproduzir isso em nenhum outro perfil.
Código: 
? Which models do you want to scrape: auroraangel1
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for auroraangel1
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: aurora angel | Username: auroraangel1 | ID: 66748071 | Joined: 2020-09-03T00:00:00+00:00
- 501 posts
-- 452 photos
-- 207 videos
-- 0 audios
- 2 archived posts
Pages Progress: 12: : 12it [01:05, 5.49s/it]
run failed with exception: 'text'
Using profile: main_profile[01:03, 4.17s/it]
Status - UP
Getting paid content for auroraangel1
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: auroraangel1
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
O segundo bug é que o script, por algum motivo, pula um único arquivo ao fazer scrape. Testar com e sem --dupe não muda isso. Porém, rodar o scrape mais 1 ou 2 vezes no mesmo perfil parece resolver e o arquivo misteriosamente pulado é baixado. Infelizmente não tenho certeza de qual arquivo é.
O terceiro bug é que o script às vezes não baixa nenhum conteúdo arquivado de um perfil. --dupe não muda isso, nem selecionar só conteúdo arquivado. :SadgeCry:
Código: 
? Which models do you want to scrape: avaxreyes
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for avaxreyes
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: Ava Reyes 💖 | Username: avaxreyes | ID: 125000045 | Joined: 2021-03-11T00:00:00+00:00
- 261 posts
-- 286 photos
-- 8 videos
-- 0 audios
- 30 archived posts
Pages Progress: 9: : 9it [00:05, 1.60it/s]
Pages Progress: 3: : 3it [00:46, 15.52s/it]
forcing all downloads

Downloading to ofscraper/{model_username}/{responsetype}/{mediatype}/

Progress: (300 photos, 8 videos, 0 skipped || 308/308||150.15 MB): : 308it [00:43, 7.08it/s]
Using profile: main_profile
Status - UP
Getting paid content for avaxreyes
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: avaxreyes
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
Por último, o quarto bug é que os avatares são baixados sem extensão de arquivo. Não é importante pra mim, mas achei válido compartilhar caso alguém precise. 👍
Tirando esses quatro bugzinhos, o script funciona perfeitamente e é super fácil de usar. Valeu por compartilhar! :MLADY:👍
 
Valeu pelas palavras gentis, e os relatos de bugs também são muito úteis
 
Recebi muita ajuda pra melhorar esse script, como no post citado
Com o lançamento da 1.82
Pensei em vir aqui ver se alguns dos bugs por aqui já tinham sido resolvidos
Com isso, consegui corrigir vários problemas de versões anteriores e implementar formas de melhorar o script.
1. O erro de texto pode significar que o arquivo de config não está correto ou que a resposta da onlyfans não tem o valor esperado. Como isso só acontece com um modelo específico, provavelmente é o segundo caso. Reformulei o script pra lidar melhor com todos os diferentes tipos de resposta que a onlyfans manda. Recebi relatos de erros parecidos, mas a maioria parece ter sumido com atualizações posteriores.
2. Os downloads que falham são provavelmente por causa da onlyfans, às vezes eles simplesmente mandam uma resposta ruim. As versões anteriores deveriam tentar a requisição de novo, mas isso não estava implementado corretamente. Na nova versão corrigi isso. Agora cada download vai ser tentado 5 vezes, com uma pausa entre elas. Espero que isso reduza bastante ou elimine os downloads pulados.
3. Disso eu não tenho certeza. Tem boa chance de já ter sido corrigido com todas as mudanças feitas no script.
4. Implementei uma correção pra isso na 1.82
 
Removi a 1.82 por causa de um bug que introduzi nessa versão
a versão mais recente é a 1.87
 
Notícia boa
ofscraper 1.95 agora tem suporte a conteúdo com DRM
 
Valeu, hornyone! Nunca fui atrás de usar o digitalcriminal e ficava baixando o conteúdo manualmente... Testei seu script e facilitou muito minha vida.
 
Adicionei uma feature beta
É um jeito de visualizar rapidamente informações do db, junto com informações obtidas da api
Isso faz parte do próximo lançamento 2.2
Provavelmente vai ter um jeito de baixar posts individuais desbloqueados assim, além de poder fazer isso direto pela linha de comando
dp-Y8eWwsgY.png
 
Não sei se estou fazendo algo errado ou se tem um jeito de fazer isso, mas o scraping de mensagens com DRM não está adicionando a qualidade ao nome do arquivo (ex. _source). Ainda não testei com posts, porque estou usando a ferramenta só pra mensagens até agora.
 
Só alguns arquivos têm _source adicionado
Depende da url que a api retorna
 
Acho que isso não é verdade. Porque usei o scraper do sim0n00ps pras mesmas mensagens e ele retornou com _source adicionado, enquanto o seu não, pros mesmos arquivos.
 
É, eu venho usando o que a url original indicava
Dei uma olhada rápida no código dele e ele adiciona isso ao nome do arquivo
folder + path + "/" + filename + "_source.mp4"
Alguns arquivos têm isso dentro da url, mas não é consistente
Provavelmente vou fazer algo parecido pra evitar confusão
 
Estou usando o ofscraper 2.4.5 no macOS. Baixou tudo direitinho das minhas compras... exceto que o vídeo DRM não é baixado corretamente. Ele baixa o vídeo DRM, só que o vídeo DRM não abre. O QuickTime do macOS (o programa usado pra tocar mp4 no macOS) diz: "The file isn't compatible with QuickTime Player.". Também tentei subir esse arquivo pro gofile pra ver se tocava lá, e também não tocou.
Estou usando isso pro mp4decrypt: https://formulae.brew.sh/formula/bento4
E também apontei meu config pro executável do ffmpeg (já uso ffmpeg regularmente)
Ao inspecionar os metadados do vídeo DRM baixado que não abre... percebi que a diferença entre ele e os outros vídeos não-DRM é que o DRM não tem informação sobre dimensões, codec, etc. Falta essa metadata, e acho que pode ser por isso que quebra pra mim. Alguma ideia?
 
Além disso, como faço pra tentar baixar de novo conteúdo que já baixei antes? Percebi que quando rodo de novo nas mensagens de uma modelo, ele não baixa os que já baixei no passado?
 
O problema é a extensão
Alguns players de vídeo conseguem contornar isso.
Pelo discord parece que o vlc é um deles
mas mudar o nome para .mkv ou
baixar de novo com --dupe vai resolver o problema
https://github.com/datawhores/OF-Scraper/issues/85
você pode rodar
ofscraper --dupe
Isso vai pular a checagem de duplicados e baixar tudo de novo
 
Sinto muito mesmo.
você consegue explicar bem simples como usar isso?
 
Baixei o arquivo DRM de novo e deu certo, tudo funcionando. Valeu pelo trabalho!
 
Olá, baixei um vídeo pago com DRM (mensagem) e gostaria de baixar de novo, como faço isso? O arquivo está marcado como baixado no banco de dados.
 
Você precisa entrar ou se cadastrar para responder aqui.
Voltar
Topo