Software Engineer · Data Pipelines · Generative AI Platforms · Brazil

Building systems that turn web noise into decisions since 2001.

Founder of TudoSobreProdutos.com.br and SuperNichos. Head of Operations at Agência Disco (one of Brazil's leading Shopify agencies). Former CMO at Samurai Experts / Locaweb. Advisory Board Member at ABLEC. Over 25 years hands-on, from Delphi 5 in 2001 to distributed AI pipelines in 2026.

I build autonomous systems that discover, ingest, normalize, and interpret massive volumes of unstructured web data, turning raw noise into purchasing intelligence and actionable business decisions.

• Distributed Crawlers & Data Pipelines: Resilient scraping infrastructure (Playwright, DrissionPage, curl_cffi, Scrapy, httpx) with smart proxy rotation and anti-bot mitigation across 3,600+ stores.
• Data Engineering & Deduplication: Cross-merchant catalog clustering without EAN/SKU using Metaphone, Soundex, N-gram, MinHash, and Perceptual Image Hashing.
• AI, LLMs & NLP at Scale: Sentiment extraction from millions of reviews, RAG pipelines, multi-provider LLM orchestration (OpenAI, Gemini, Claude), Whisper transcription, YouTube automation, and neural TTS.
• Programmatic SEO / AEO / GEO: Data-driven content generation at scale (30M+ pages); structured data, schema markup, technical SEO, Core Web Vitals. Answer Engine Optimization (Perplexity, ChatGPT Search) and Generative Engine Optimization to position content as the canonical source for AI-generated answers.
• E-commerce Growth & CRO: A/B testing (GrowthBook, Optimizely), CRM automation (Klaviyo, Insider), GA4, server-side tracking, conversion funnel optimization.
• High-Performance Modern Web: Next.js (SSR/SSG, TypeScript) + async Python backends (FastAPI, Redis, Supabase/PostgreSQL, BigQuery).

The Brazilian equivalent of RTINGS.com and Versus.com, with added coverage of Brazilian retail prices, 3,600+ stores, and local certifications (INMETRO, ANVISA). Brands do not pay for ranking positions.

• End-to-end Data Mining & Generative AI platform with a 17-stage ETL pipeline from raw scraping to structured portals and multimodal distribution
• 2.8M+ real user reviews processed; catalogs monitored across 3,600+ Brazilian stores
• Evaluation methodology: 4-step process: specs screening (manufacturers + global data) → Big Data (cross-referencing thousands of real user reviews and expert video transcripts) → AI Engine (chronic failure patterns and real qualities ignored by other sites) → Human curation (specialists validate every data point for context accuracy); 3 rigour pillars: consolidated social proof, long-term durability metrics (not just out-of-box performance), and normalized technical comparability across price tiers
• Custom deduplication pipeline for cross-merchant product matching without EAN/SKU
• Human-in-the-Loop (HITL) editorial system: AI generates, humans validate, platform publishes
• LLM Ops (tiktoken): long-context management (100k+ tokens), chunking, cost optimization and hallucination mitigation
• Automated video pipeline (Remotion, moviepy, edge-tts): LLM-generated scripts feed Remotion compositions with neural TTS narration, published to YouTube Shorts & TikTok
• Frontend: Next.js 16 App Router + ISR (TTFB ~80-150ms on cache hit); 3-layer cache (React cache() + unstable_cache + Upstash Redis); deployed on Vercel Edge CDN; shadcn/ui + Radix UI
• Observability: Sentry (runtime errors), Vercel Analytics, Speed Insights (Core Web Vitals in production)
• Agent-ready architecture: llms.txt, MCP Server Card, ARD 1.0 catalog, agent-skills.json; Accept: text/markdown content negotiation via turndown (HTML-to-Markdown pipeline); server-side OG image generation via @napi-rs/canvas
• AEO / GEO: Custom 12-step HTML-to-Markdown pipeline (lib/markdown-for-agents.ts) that strips 95%+ of UI noise from Next.js pages for LLM consumption (1.55 MB HTML down to 64 KB Markdown, 86 images deduplicated to 8); Content-Signal directives in robots.txt (ai-train=no, search=yes); canonical attribution header injected into every Markdown response

System workflow:

Live examples:

Videos generated by the Remotion pipeline:

Website www.tudosobreprodutos.com.br:

Fetch web pages by climbing an escalating ladder of methods, remembering per domain which rung worked.

Climbs an escalating ladder of fetching layers — from plain HTTP (requests, httpx), real browser TLS impersonation (curl_cffi), headless browsers (Playwright, Camoufox, Scrapling), to paid scraping APIs — remembering which rung succeeded per domain and skipping blocked rungs automatically.

from scrapladder import Ladder

with Ladder(memory="scrapladder.json") as ladder:
    r = ladder.fetch("https://loja.example.com.br/produto/123", must_contain="KZ ZSN Pro")

if r.ok:
    print(r.method, len(r.html))   # e.g. curl_cffi 184213
else:
    print(r.summary())             # e.g. blocked via - [curl_cffi:challenged > playwright:challenged]

Resilient YouTube transcripts that keep working: direct captions, yt-dlp metadata, and neural Whisper fallback.

Tries caption extraction in cascading resilience order (youtube-transcript-api → plain caption URL download → yt-dlp subtitle extraction → local faster-whisper), adapting dynamically as YouTube updates its pages.

from transcriptladder import Transcriber

with Transcriber(languages=["pt", "en"], memory="transcriptladder.json") as t:
    r = t.transcribe("https://youtu.be/VIDEO_ID")

if r.ok:
    print(r.method, r.language)      # e.g. yt_dlp_subs pt
    print(r.text[:300])
    open("video.srt", "w").write(r.srt())

Know what each LLM call really costs, with prices you can trace back to the provider's page.

Tracks the true cost of every LLM call — prompt, cached, output, and thinking tokens — across OpenAI, Gemini, Claude and DeepSeek, with per-call price tables you can trace back to the provider's pricing page. Born from a real cost audit that cut a product's AI bill from US$1.00 to US$0.14 (−85.8%).

from llm_cost_kit import Ledger, PriceTable, SQLiteSink, target, timer

prices = PriceTable.load("prices.yaml")   # every price has source and checked_at
ledger = Ledger(prices, SQLiteSink("costs.sqlite"))

for product in products:
    with target(product_id=product["id"]):
        with timer() as t:
            resp = client.models.generate_content(model="gemini-2.5-flash", contents=prompt)
        ledger.record(resp, model="gemini-2.5-flash", flow="spec_sheet", latency_ms=t.ms)

$ llm-cost-kit report costs.sqlite --by meta.product_id
$ llm-cost-kit prices prices.yaml        # stale or suspicious prices
$ llm-cost-kit check src/ --recorder record   # scripts calling LLMs without metering

Find duplicate and near-duplicate product photos with perceptual image hashing — Python and .NET return the same bits.

Perceptual hashing (aHash, dHash, pHash) that finds near-duplicate images even after resize, recompression, or brightness edits. Forged from 5 years managing 114M product offers from 7,179 Brazilian stores — where the same photo from different merchants never had the same SHA-256.

from similar_image_finder import perceptual_hash

a = perceptual_hash("store-a/lamp.jpg")
b = perceptual_hash("store-b/pendente-preto-600x600.webp")
print(a - b)   # Hamming distance: 0-6 = same picture, >20 = different product

using SimilarImageFinder;

var a = ImageLoader.Hash("store-a/lamp.jpg");          // pHash, 64 bits
var b = ImageLoader.Hash("store-b/pendente.webp");
Console.WriteLine(a - b);                             // Hamming distance

	scrapladder: Fetch web pages by climbing an escalating ladder of methods (plain HTTP, curl_cffi TLS impersonation, Playwright, paid scraping APIs) and remember per domain which rung worked.
	transcriptladder: Resilient YouTube transcription combining caption APIs, yt-dlp metadata, and faster-whisper neural fallback. Generates clean text, timed segments, and SRT.
	DedupKit: Cross-merchant product deduplication for Brazilian Portuguese e-commerce. Identifies matching listings without EAN/SKU and rejects false positives (Python & .NET with identical results).
	llm-cost-kit: Calculate exact pricing and token costs for LLM inference calls across OpenAI, Anthropic Claude, Google Gemini, and open models with up-to-date sources.
	SimilarImageFinder: Perceptual image hashing engine (aHash, dHash, pHash, wHash) for large-scale e-commerce product image deduplication and catalog clustering.
	BrCommerceKit: Brazilian e-commerce engineering toolkit for .NET / C#. Platform fingerprinting across 20 engines (Shopify, VTEX, Nuvemshop, Loja Integrada), streaming feed parser for Brazilian dialects (preco_por, g:), Shopify products.json reader, BRL price normalizer, and catalog quality inspector (placeholder images and generic EAN detection).
	PtBr.Text: Brazilian Portuguese text & data engineering toolkit for .NET. Validation and formatting for CPF, new alphanumeric CNPJ, CEP, and 9-digit phones. Includes data-to-text generation (gender/plural agreement), RAKE PT-BR keyword extraction with essential stopwords, and contact extraction.
	People Also Ask Plugin: Official WordPress.org plugin automating programmatic SEO content from Google SERP "People Also Ask" questions. Features multi-level scraping, automated Schema Markup, and YouTube embeds.
	SuperNichos: Brazil's largest niche discovery and segment mining engine. Ingests 50M Google Brazil queries, normalizing and clustering terms with Metaphone, Soundex, MinHash, and N-gram algorithms.

• 700,000 niches and 50M+ keywords in a single platform
• Largest niche discovery and segment mining tool in Brazil

How it was built:

1. Data Ingestion: Processed the DataForSEO dataset containing 50M search queries from Google Brazil.
2. Normalization & Clustering: Normalized search queries and grouped terms to uncover semantic and textual patterns using string similarity algorithms (Metaphone, Soundex, N-gram, MinHash, Fingerprint, NgramKeyer).
3. Mining & Discovery: Clustered final data to uncover thousands of profitable niches and market opportunities (for product development, service offerings, addressing unmet customer pain points, and programmatic SEO).

Independent software engineering and programmatic SEO laboratory responsible for the architecture, deployment, and monetization of over 40 production web platforms.

• Scale: Over 30 million indexed pages generated from massive open datasets (Apple Enterprise Partner Feed, DBpedia, Freebase, IMDB, MusicBrainz, MovieLens, Open Food Facts, Tabela FIPE, Brazilian Federal Revenue CNPJs, Correios CEPs, Quotes, Bible)
• Data Engineering & NLP: Entity deduplication with OpenRefine, phonetic and string similarity algorithms (Metaphone, Soundex, N-gram, MinHash), and syntactic parsing via Stanford NLP (POS Tagger)
• Infrastructure & Automation: Distributed multi-proxy scrapers (Selenium, Chrome Headless, Cloudflare Workers, anti-captcha mitigation), dynamic banner rendering in C# (System.Drawing.Image), and serverless edge hosting on Google Cloud Storage
• Monetization & AdTech Ecosystem: Large-scale commercial monetization through header bidding, ad exchanges, and affiliate networks (Google Ad Manager, Google AdSense, Awin, Lomadee, Rakuten Marketing, Amazon Associates, Taboola, Teads, MGID, Seedtag, Rubicon, RTB House, Cazamba, Clever Advertising)

Shopify e-commerce growth for brands such as Chocolates Dengo, Rommanel, Malwee, CIMED, Garmin, Contém 1G, Bold Snacks, Tânia Bulhões, and 20+ more.

• Growth Marketing, CRO, Programmatic SEO, A/B Testing (GrowthBook)
• CRM & marketing automation (Klaviyo, Insider, Shopify Email, n8n, Shopify Flow)
• GA4, server-side tracking, Customer Events, analytics & BI

• Chief Marketing Officer, Growth Hacker
• Branding Manager at Wake (wake.tech)

• Scaled the team from 1 to 8 people; became the largest e-commerce in Brazil's North/Northeast region
• Full ERP + e-commerce platform migration (flipped in a single day in 2016)
• e-Bit Diamond Seal (one of only 3 companies in the Brazilian book segment)
• RA1000 by Reclame Aqui (top reputation seal)
• Stack: Moovin, e-Millennium ERP, Konduto, SendGrid, Maxipago, AWS, Cloudflare, Criteo, Optimizely

Real-time analytics and channel monitoring dashboard built for e-commerce operations.

• Real-time traffic, conversion, and acquisition channel monitoring
• Adopted and used by more than 5,000 e-commerce stores

Built from scratch in ASP.NET + SQL Server + Azure (9 months of development, nights and weekends). Acted as CTO and hands-on entrepreneur across all operational and engineering fronts:

• Product Development: Full-stack architecture (Frontend, Backend in ASP.NET and SQL Server)
• Infrastructure & Hosting: Server management and edge monitoring on Azure CDN and Cloudflare
• Customer Success: Scaled support quality to earn the prestigious RA1000 seal (top reputation on Reclame Aqui)
• Email Deliverability: Maintained 99% sender IP reputation across SenderBase, SenderScore, and Microsoft SNDS
• High-Volume Email Marketing: Scaled transactional and promotional campaigns to 2M emails/month
• Growth: In 1.5 years, grew from 0 to 140,000 monthly pageviews and ~40,000 customers across Salvador, Fortaleza, and Recife; formal partnerships with iBahia and Microsoft Azure

• Delivered overnight for Bahia's Public Security Secretary (Pacto pela Vida)
• 10,000 visitors in a single day; covered widely across national press
• Significant media coverage:
  • G1 / Globo: Segurança Pública da Bahia divulga Baralho do Crime
  • UOL Notícias: Governo da Bahia lança jogo na internet para deter criminosos

• Akatus .NET SDK: Payment gateway integration library
• Mailee.me .NET SDK: Email marketing integration library
• Articles: Criando apps para Orkut com OpenSocial API, Push Notifications guide, Monitoring ASP.NET errors with appfail.net

Large-scale programmatic architectures developed since 2020, generating millions of indexed organic pages through autonomous web crawling, catalog entity resolution, NLP sentiment analysis, and serverless edge delivery.

Comprehensive online product intelligence guide with detailed specifications, real user reviews, and comparisons.

• Scale: 280,000 products extracted from XML feeds across 4,800 Brazilian e-commerce stores
• Social proof: 2,871,096 user reviews collected via Bazaarvoice API
• Web scraping: Automated crawler for technical specification sheets across merchant stores
• Entity resolution challenge: Clustering 280,000 products from different stores with conflicting naming conventions and missing EAN/SKU
• Deduplication solution: Multi-algorithm fuzzy matching on product titles (Metaphone, Soundex, N-gram, MinHash) combined with perceptual image hashing (ImageHash)
• NLP Sentiment extraction: Pros and Cons generated via sentence splitting with POS Tagger + Sentiment Analysis with Amazon Comprehend (see architecture presentation)
• Structured Data: JSON-LD schemas for FAQ, ItemList, Product, Table, BreadcrumbList, and Article
• Stack & Architecture: 100% static HTML generated with C# and SQL Server, deployed to Google Cloud Storage (serverless, infinite scale)
• Live Archive: Visit archived site

National registry office directory covering all Brazilian municipalities with enriched public records.

• Scale: Complete database of all notary and registry offices across Brazilian municipalities
• Architecture: Static HTML generation with dynamic map integration and schema markup
• Audience: Thousands of monthly organic visits for legal document authentication and certificate requests

Platform with 104,000 indexed names, covering meanings, origins, etymology, and numerology.

• Scale: 104,000 programmatic pages with full semantic entity coverage
• Stack: Built with Next.js 14, Tailwind CSS, TypeScript, Supabase, and OpenAI API
• Performance: 100% mobile-friendly with perfect Core Web Vitals scores
• Structured Data: JSON-LD schemas for FAQ, ItemList, WebSite, Breadcrumbs, and Article
• Live Archive: Visit archived site

Comprehensive intelligence and reputational analysis of 63,933 Brazilian e-commerce websites with enriched business data.

• Coverage: Scraping and profiling of 63,933 Brazilian online stores
• Automated Visual Evidence: Automated headless screenshot generation of Reclame Aqui reputation profiles and store homepages using C# and Selenium
• Data Enrichment: Extracted domain owner CNPJ from Whois and cross-referenced with the Federal Revenue database (corporate partners, legal name, trade name, CNPJ, CNAE classification, share capital, physical address, email, phone)
• Security & Reputation: Automated SSL certificate verification and direct cross-referencing links to Consumidor.gov.br, Jusbrasil, and Reclame Aqui
• Platform Detection: Automatic fingerprinting of e-commerce platforms (Shopify, VTEX, WooCommerce, Nuvemshop, etc.)
• AI Synthesis: Contextual explanatory content generated via OpenAI API
• Live Archive: Visit archived site

Comprehensive Portuguese dictionary platform with 187,000 words, including definitions, synonyms, grammar analysis, and educational exercises.

• Scale: 187,000 programmatic pages generated (one for every dictionary entry) combining a pt-BR lexical database with OpenAI API content generation
• Linguistic Metadata: Idiomatic and regional definitions, synonyms, antonyms, phonetics and pronunciation, grammatical class, consonants, vowels, root/stem, syllabic division, tonic syllable, singular/plural, gender forms, verb conjugations (infinitive, gerund, past participle), letter counts, educational games, rhymes, and usage examples
• Visuals: Dynamic banner and educational graphic generation in C#
• Architecture: 100% static HTML generated with C# and SQL Server, hosted on Google Cloud Storage (serverless, infinite scale)
• Performance: 100% mobile-friendly with perfect Core Web Vitals scores and JSON-LD schemas
• Live Archive: Visit archived site

Bible verse platform with automated programmatic shareable graphics designed for social media distribution.

• Automated Graphics: Programmatic generation of high-resolution Bible verse images formatted for social media sharing (Instagram, Facebook, WhatsApp)
• Database: Full relational Bible database
• Engine: Dynamic image rendering engine in C#
• Architecture: 100% static HTML platform hosted on Google Cloud Storage
• Live Site: Visit site

Programmatic discovery catalog generated from the Apple Enterprise Partner Feed (EPF), indexing 2.4 million apps.

• Scale: 2.4M apps ingested and indexed from the official Apple Enterprise Partner Feed
• Internationalization: Multi-language catalog published across 176 countries
• Regionalization: Advanced cultural and geographic formatting implemented using C# System.Globalization.CultureInfo and System.Globalization.RegionInfo
• Live Archive: Visit archived site

Official WordPress plugin published on the WordPress.org repository, automating programmatic SEO content generation based on real-time Google "People Also Ask" SERP data.

• SERP Scraping: Multi-level extraction of Google questions and answers via SerpAPI and DataForSEO API
• Automated Publishing: Automatically structures content into headings (H2/H3), FAQ schemas, and contextual YouTube video embeds
• Architecture: WordPress plugin architecture in PHP using Custom Post Types, WordPress Hooks, REST API, and headless browser proxying
• Official Repository: br.wordpress.org/plugins/people-also-ask · Video demo

Google Analytics: Como estruturar, quais indicadores medir e que decisões tomar a partir deles?

Keynote delivered to hundreds of e-commerce leaders on web analytics architecture, metric structuring, conversion funnels, and data-driven decision making.

• 🏆 E-Commerce Brasil Award 2019: Professional of the Year, Sales Category
• 🎤 Speaker at E-Commerce Brasil Ads & Performance Congress 2019 (Google Analytics)
• 🏅 e-Bit Diamond Seal: Editora Juspodivm (top 3 in Brazilian book segment)
• ⭐ RA1000 by Reclame Aqui (Cupons VIP + Juspodivm)
• 🤝 Advisory Board Member at ABLEC (Brazilian E-Commerce Retailers Association, 2019-2022)
• 📚 Member of Academia E-Commerce Brasil (2020)

• Growth Leaders Academy: Growth Hacking (2021)
• FIB: Computer Science / Systems Analysis (2007)
• Google Analytics · Google AdWords (Search & Shopping) · SEMrush Academy · e-Millennium ERP

When not architecting pipelines or analyzing data, I play electric bass. I run a YouTube channel with over 100 recorded bass covers: youtube.com/@CaiqueDourado.

• 🌐 tudosobreprodutos.com.br
• 💼 linkedin.com/in/caiquedourado
• ✉️ contato@tudosobreprodutos.com.br
• 🐦 @caiquedourado
• 📝 caiquedourado.com.br

_{Software engineer, entrepreneur, bassist, and voracious reader. Mining web data and turning chaos into structure since 2001.}

🇧🇷 Versão em Português (clique para expandir)

Caique Dourado

Engenheiro de Software · Engenheiro de Dados · Growth Hacker · Empreendedor

Construindo sistemas que transformam caos em decisão desde 2001.

Fundador do TudoSobreProdutos.com.br e SuperNichos. Head de Operações na Agência Disco (uma das principais agências Shopify do Brasil). Ex-CMO na Samurai Experts / Locaweb. Conselheiro da ABLEC. Mais de 25 anos de experiência prática, de Delphi 5 em 2001 a pipelines distribuídos de IA em 2026.

Python · Next.js · C# · PostgreSQL · Redis · Google BigQuery · n8n

🇧🇷 Remoto de Salvador, Bahia, Brasil

---

O que eu faço

Construo sistemas autônomos que descobrem, ingerem, normalizam e interpretam volumes massivos de dados desestruturados da web, transformando ruído em inteligência de compra e decisões de negócio.

• Crawlers Distribuídos & Pipelines de Dados: Infraestrutura resiliente de raspagem (Playwright, DrissionPage, curl_cffi, Scrapy, httpx) com rotação inteligente de proxies e mitigação antibot em 3.600+ lojas.
• Engenharia de Dados & Deduplicação: Clusterização de catálogos entre múltiplos lojistas sem EAN/SKU usando Metaphone, Soundex, N-gram, MinHash e Perceptual Image Hashing.
• IA, LLMs & NLP em Escala: Extração de sentimento em milhões de reviews, pipelines de RAG, orquestração multi-provedor (OpenAI, Gemini, Claude), transcrição com Whisper, automação para YouTube e TTS neural.
• SEO Programático / AEO / GEO: Geração de conteúdo em escala orientada a dados (30M+ de páginas); dados estruturados, schema markup, SEO técnico e Core Web Vitals. Otimização para motores de resposta (Perplexity, ChatGPT Search) e Generative Engine Optimization para posicionar o conteúdo como fonte canônica para respostas geradas por IA.
• Growth para E-commerce & CRO: Testes A/B (GrowthBook, Optimizely), automação de CRM (Klaviyo, Insider), GA4, rastreamento server-side e otimização de funil de conversão.
• Web Moderna de Alta Performance: Next.js (SSR/SSG, TypeScript) + backends assíncronos em Python (FastAPI, Redis, Supabase/PostgreSQL, BigQuery).

---

Projetos em destaque

TudoSobreProdutos.com.br (Motor de inteligência de produtos, 2020 / relançado em 2026)

O equivalente brasileiro do RTINGS.com e Versus.com, com cobertura de preços do varejo brasileiro, 3.600+ lojas e certificações nacionais (INMETRO, ANVISA). Marcas não pagam por posição no ranking.

• Plataforma completa de Data Mining & IA Generativa com pipeline ETL de 17 estágios, da raspagem bruta à distribuição multimodal
• 2,8M+ de avaliações reais de usuários processadas; catálogo monitorado em 3.600+ lojas brasileiras
• Metodologia de avaliação: Processo em 4 etapas: triagem técnica (fabricantes + dados globais) → Big Data (cruzamento de milhares de reviews reais e transcrições de vídeos de especialistas) → Motor de IA (identificação de falhas crônicas e qualidades reais ignoradas por outros sites) → Curadoria humana (especialistas validam cada dado no contexto de uso); 3 pilares de rigor: prova social consolidada, métricas de durabilidade a longo prazo (não apenas performance recém-saído da caixa) e comparabilidade técnica normalizada por faixa de preço
• Pipeline proprietário de deduplicação para match de produtos entre lojistas sem EAN/SKU
• Sistema editorial Human-in-the-Loop (HITL): IA gera, humanos validam, plataforma publica
• LLM Ops (tiktoken): gestão de contexto longo (100k+ tokens), chunking, otimização de custos e mitigação de alucinações
• Pipeline de vídeo automatizado (Remotion, moviepy, edge-tts): roteiros gerados por LLM alimentam composições do Remotion com narração TTS neural, publicados no YouTube Shorts e TikTok
• Frontend: Next.js 16 App Router + ISR (TTFB ~80-150ms no cache hit); cache em 3 camadas (React cache() + unstable_cache + Upstash Redis); deploy na Vercel Edge CDN; shadcn/ui + Radix UI
• Observabilidade: Sentry (erros em runtime), Vercel Analytics, Speed Insights (Core Web Vitals em produção)
• Arquitetura agent-ready: llms.txt, MCP Server Card, catálogo ARD 1.0, agent-skills.json; negociação de conteúdo Accept: text/markdown via pipeline turndown (HTML para Markdown); geração de imagens OG server-side via @napi-rs/canvas
• AEO / GEO: Pipeline proprietário de 12 etapas de conversão de HTML para Markdown (lib/markdown-for-agents.ts) que remove mais de 95% do ruído de interface das páginas Next.js para consumo por LLMs (1,55 MB de HTML reduzidos para 64 KB de Markdown, 86 imagens deduplicadas para 8); diretivas Content-Signal no robots.txt (ai-train=no, search=yes); injeção de cabeçalho de atribuição canônica em todas as respostas Markdown

Fluxo do sistema:

Exemplos reais:

Tipo	URL
Página de produto	Apple AirPods Pro 3
Comparação	AirPods Pro 2 vs AirPods Pro 3
Ranking Top 10	Top 4 Melhores Fones Apple
Artigo	Assinaturas Sonoras: U-shape vs V-shape vs Neutro

Vídeos gerados pelo pipeline do Remotion:

Website www.tudosobreprodutos.com.br:

SuperNichos (Mineração de nichos e palavras-chave, 2023-atual)

• 700.000 nichos e 50M+ de palavras-chave em uma única plataforma
• Maior ferramenta de descoberta de nichos e mineração de segmentos do Brasil

Como foi construído:

1. Ingestão de Dados: Processamento da base do DataForSEO contendo 50 milhões de buscas no Google Brasil.
2. Normalização & Clusterização: Normalização dos termos de busca e agrupamento para identificar padrões semânticos e textuais usando algoritmos de similaridade de strings (Metaphone, Soundex, N-gram, MinHash, Fingerprint, NgramKeyer).
3. Mineração & Descoberta: Clusterização final para revelar milhares de nichos lucrativos e oportunidades de mercado (para criação de produtos, serviços, atendimento de dores latentes e SEO programático).

Gambis Mode [On] (Laboratório Independente: SEO Programático & Data Mining, 2017-atual)

Laboratório independente de engenharia de software e SEO programático responsável pela concepção, implementação e monetização de mais de 40 plataformas web em produção.

• Escala: Mais de 30 milhões de páginas indexadas geradas a partir de bases abertas massivas (Apple Enterprise Partner Feed, DBpedia, Freebase, IMDB, MusicBrainz, MovieLens, Open Food Facts, Tabela FIPE, CNPJs da Receita Federal, CEPs dos Correios, Frases, Bíblia)
• Engenharia de Dados & NLP: Deduplicação de entidades com OpenRefine, algoritmos fonéticos e de similaridade de strings (Metaphone, Soundex, N-gram, MinHash) e parsing sintático via Stanford NLP (POS Tagger)
• Infraestrutura & Automação: Scrapers distribuídos com múltiplos proxies (Selenium, Chrome Headless, Cloudflare Workers, resolução de anti-captcha), renderização dinâmica de banners em C# (System.Drawing.Image) e hospedagem serverless no Google Cloud Storage
• Monetização & Ecossistema AdTech: Monetização comercial em larga escala via header bidding, ad exchanges e redes de afiliados (Google Ad Manager, Google AdSense, Awin, Lomadee, Rakuten Marketing, Amazon Associates, Taboola, Teads, MGID, Seedtag, Rubicon, RTB House, Cazamba, Clever Advertising)

Agência Disco (Head de Operações, 2023-atual)

Operação de growth e e-commerce em Shopify para marcas como Chocolates Dengo, Rommanel, Malwee, CIMED, Garmin, Contém 1G, Bold Snacks, Tânia Bulhões e mais de 20 outras.

• Growth Marketing, CRO, SEO Programático, Testes A/B (GrowthBook)
• CRM e automação de marketing (Klaviyo, Insider, Shopify Email, n8n, Shopify Flow)
• GA4, rastreamento server-side, Customer Events, analytics & BI

Samurai Experts / Locaweb (CMO & Growth, 2021-2023)

• Chief Marketing Officer, Growth Hacker
• Branding Manager na Wake (wake.tech)

Editora Juspodivm (Head de E-commerce, 2014-2021, 7+ anos)

• Formação e liderança de equipe (de 1 para 8 pessoas); maior e-commerce do Norte/Nordeste
• Migração completa de ERP + plataforma de e-commerce (virada em um único dia em 2016)
• Selo Diamante e-Bit (uma das únicas 3 empresas no segmento de livros do Brasil)
• RA1000 pelo Reclame Aqui
• Stack: Moovin, e-Millennium ERP, Konduto, SendGrid, Maxipago, AWS, Cloudflare, Criteo, Optimizely

Google Analytics Real Time Dashboard (2017)

Dashboard de acompanhamento em tempo real para operações de e-commerce.

• Monitoramento de tráfego, conversão e canais de aquisição em tempo real
• Utilizado por mais de 5.000 lojas virtuais

Cupons VIP (Co-fundador & CTO, 2011-2013)

Desenvolvido do zero em ASP.NET + SQL Server + Azure (9 meses de desenvolvimento, noites e finais de semana). Atuação como CTO e empreendedor em todas as frentes:

• Desenvolvimento de Produto: Arquitetura full stack (Frontend, Backend em ASP.NET e SQL Server)
• Infraestrutura & Hospedagem: Servidores e edge com Azure CDN e Cloudflare
• Atendimento & Sucesso do Cliente: Conquista do selo RA1000 do Reclame Aqui
• Entregabilidade de E-mail: 99% de reputação de IP no SenderBase, SenderScore e SNDS da Microsoft
• Disparos em Massa: 2 milhões de e-mails/mês
• Crescimento: Em 1 ano e meio: de 0 para 140.000 visualizações/mês e ~40.000 clientes em Salvador, Fortaleza e Recife; parcerias formais com o portal iBahia e Microsoft Azure

"Baralho do Crime" (2011, projeto viral para o Governo da Bahia)

• Projeto entregue da noite para o dia para a Secretaria de Segurança Pública da Bahia (Pacto pela Vida)
• 10.000 visitantes em um único dia; repercussão massiva na imprensa nacional
• Principais matérias:
  • G1 / Globo: Segurança Pública da Bahia divulga Baralho do Crime
  • UOL Notícias: Governo da Bahia lança jogo na internet para deter criminosos

Open Source & Publicações

• Akatus .NET SDK: Biblioteca de integração com gateway de pagamento
• Mailee.me .NET SDK: Biblioteca de integração com plataforma de e-mail marketing
• Artigos técnicos: Criando apps para Orkut com OpenSocial API, Guia de Push Notifications, Monitoramento de erros em ASP.NET com appfail.net

---

Projetos de SEO Programático

Projetos desenvolvidos a partir de 2020 com foco em geração de milhões de páginas indexadas via rastreamento web, catalogação de dados, NLP e hospedagem serverless.

Tudo Sobre Produtos (1ª Versão) (2020)

Guia de produtos com especificações detalhadas, opiniões de compradores e comparações.

• Escala: 280.000 produtos extraídos via feeds XML de 4.800 lojas brasileiras
• Prova social: 2.871.096 avaliações de usuários via API do Bazaarvoice
• Web scraping: Crawler de fichas técnicas nos sites dos fabricantes e lojas
• Deduplicação: Matching de títulos de produtos com Metaphone, Soundex, N-gram, MinHash e hash perceptual de imagens (ImageHash)
• NLP: Geração de Prós e Contras via divisão de sentenças com POS Tagger + Análise de Sentimento no Amazon Comprehend (ver apresentação da arquitetura)
• Dados estruturados: Schemas JSON-LD de FAQ, ItemList, Product, Table, BreadcrumbList e Article
• Arquitetura: 100% estático em HTML gerado em C# e SQL Server, hospedado no Google Cloud Storage (serverless)
• Arquivo histórico: Conheça o site arquivado

Portal de Cartórios no Brasil (2024)

Guia nacional de cartórios com informações completas de todos os municípios brasileiros.

• Escala: Base com todos os cartórios de notas, registro civil e imóveis do Brasil
• Arquitetura: Páginas estáticas com mapas e dados estruturados locais
• Audiência: Milhares de acessos orgânicos/mês para emissão de certidões e serviços notariais

Nomes e Sobrenomes (2023)

Portal com 104 mil nomes próprios catalogados com significados, origem, etimologia e numerologia.

• Escala: 104 mil páginas geradas a partir de base de dados proprietária
• Tecnologia: Next.js 14, Tailwind CSS, TypeScript, Supabase e API da OpenAI
• Performance: 100% adequado a dispositivos móveis com notas perfeitas no Web Vitals
• Dados estruturados: Schemas JSON-LD de FAQ, ItemList, WebSite, Breadcrumbs e Article
• Arquivo histórico: Conheça o site arquivado

Tudo Sobre Lojas (2023)

Análise completa de lojas virtuais e e-commerces brasileiros com dados enriquecidos de reputação e cadastro.

• Escala: Scraping e análise de 63.933 lojas brasileiras
• Evidências visuais automáticas: Geração de screenshots da página da loja no Reclame Aqui e da homepage da loja usando C# e Selenium
• Enriquecimento cadastral: Extração do CNPJ no Whois e cruzamento com a base de CNPJ da Receita Federal (sócios, razão social, nome fantasia, CNPJ, CNAE, capital social, endereço, e-mail, telefone)
• Segurança & Reputação: Checagem automatizada de certificado SSL e links diretos para busca de reclamações no Consumidor.gov.br, Jusbrasil e Reclame Aqui
• Identificação de tecnologia: Detecção automática da plataforma de e-commerce utilizada (Shopify, VTEX, WooCommerce, Nuvemshop, etc.)
• IA: Geração de conteúdo de apoio e síntese explicativa com API da OpenAI
• Arquivo histórico: Conheça o site arquivado

Tudo sobre as Palavras (2023)

Dicionário completo com 187 mil palavras, incluindo significados, sinônimos, gramática e exercícios educativos.

• Escala: 187 mil páginas geradas (uma para cada verbete) a partir de banco de dados pt-BR + geração de conteúdo com API da OpenAI
• Riqueza gramatical: Significado idiomático e regional, sinônimos, antônimos, ortografia e pronúncia, classe gramatical, consoantes, vogais, radical, separação silábica, sílaba tônica, singular/plural, flexão de gênero, tempos verbais (infinitivo, gerúndio, particípio), contagem de letras, atividades, jogos, rimas e exemplos práticos de uso
• Imagens: Geração programática de imagens e artes explicativas em C#
• Arquitetura: 100% em HTML estático gerado em C#, banco SQL Server e hospedado no Google Cloud Storage (serverless, escalabilidade infinita)
• Performance: 100% adequado a dispositivos móveis, pontuação máxima no Web Vitals e schemas JSON-LD
• Arquivo histórico: Conheça o site arquivado

Versiculo-Do-Dia.com (2022)

Plataforma de versículos bíblicos com imagens programáticas compartilháveis para redes sociais.

• Geração de imagens: Automação de artes de versículos bíblicos formatadas para compartilhamento em redes sociais (Instagram, Facebook, WhatsApp)
• Base de dados: Banco relacional completo da Bíblia
• Motor visual: Renderizador dinâmico de imagens em C#
• Arquitetura: Site 100% estático em HTML hospedado no Google Cloud Storage
• Site no ar: Conheça o site

919Apps.com (2022)

Portal programático gerado a partir do Apple Enterprise Partner Feed (EPF), catalogando 2,4 milhões de aplicativos.

• Escala: 2,4 milhões de aplicativos indexados diretamente do Apple Enterprise Partner Feed
• Alcance internacional: Site multi-idiomas publicado em 176 países
• Regionalização: Suporte avançado a internacionalização usando System.Globalization.CultureInfo e System.Globalization.RegionInfo em C#
• Arquivo histórico: Conheça o site arquivado

People Also Ask Plugin (Plugin WordPress, 2024-2026)

Plugin oficial publicado no repositório do WordPress.org, criado para automatizar a geração de conteúdo para SEO programático com base na seção "As pessoas também perguntam" (People Also Ask) da SERP do Google.

• Extração de SERP: Raspagem multinível de perguntas e respostas via SerpAPI e DataForSEO API
• Geração de Conteúdo: Estruturação automática de artigos com headings (H2/H3), FAQs com Schema Markup e embeds de vídeos do YouTube
• Arquitetura: Desenvolvido em PHP com Custom Post Types, WordPress Hooks, REST API e backend com proxies headless
• Repositório Oficial: br.wordpress.org/plugins/people-also-ask · Vídeo de demonstração

---

Palestras

Congresso E-Commerce Brasil Ads & Performance 2019

Google Analytics: Como estruturar, quais indicadores medir e que decisões tomar a partir deles?

Palestra técnica ministrada para centenas de profissionais e lojistas sobre planejamento de métricas no Google Analytics, modelagem de funis de conversão e tomada de decisões analíticas no e-commerce.

---

Reconhecimentos

• 🏆 Prêmio E-Commerce Brasil 2019: Profissional Destaque do Ano, Categoria Vendas
• 🎤 Palestrante no Congresso E-Commerce Brasil Ads & Performance 2019 (Google Analytics)
• 🏅 Selo Diamante e-Bit: Editora Juspodivm (top 3 no segmento de livros do Brasil)
• ⭐ RA1000 pelo Reclame Aqui (Cupons VIP + Juspodivm)
• 🤝 Conselheiro da ABLEC (Associação Brasileira de Lojistas de E-Commerce, 2019-2022)
• 📚 Membro da Academia E-Commerce Brasil (2020)

---

Formação & Certificações

• Growth Leaders Academy: Growth Hacking (2021)
• FIB: Ciência da Computação / Análise de Sistemas (2007)
• Google Analytics · Google AdWords (Rede de Pesquisa e Shopping) · SEMrush Academy · e-Millennium ERP

---

Além do Código

Fora dos terminais e dos pipelines de dados, sou contrabaixista. Mantenho um canal no YouTube com mais de 100 covers gravados: youtube.com/@CaiqueDourado.

---

Vamos conversar

• 🌐 tudosobreprodutos.com.br
• 💼 linkedin.com/in/caiquedourado
• ✉️ contato@tudosobreprodutos.com.br
• 🐦 @caiquedourado
• 📝 caiquedourado.com.br

_{Programador, empreendedor, baixista e leitor voraz. Minerando dados na web e transformando caos em estrutura desde 2001.}