Migratie naar nieuwe forum software

[Michel]

Ergens in de komende 2 maanden gaan we sat4all migreren van Invision Power community 4.x naar https://meta.discourse.org/

 

Deze self-hosted versie kost ons nu ieder jaar al ruim €205,00 en het wordt steeds duidelijker dat Invision Community van hun self-hosted klanten af wil.

 

Het zal voor leden even flink wennen worden, maar Discourse is wel een heel modern, toekomstbestendig en (in de community versie) vooral gratis product.

 

We gaan natuurlijk ervoor zorgen dat alles zo veel mogelijk overgenomen wordt. De conversie-scripts zijn al gemaakt en we zijn ook al druk aan het testen. Zodra we een concrete datum weten, wordt dat hier gemeld. De site zal dan wel minimaal een halve dag offline zijn want 2,7 miljoen berichten migreren is een heel langdurig proces.

Mvg,

 

Michel

[Noordzee]

Succes met de migratie! 

[minplus]

Succes!

Zelfs ik als ouwetje zal er wel aan wennen.🙂

[chukky2]

Top, succes 

[Tonskidutch]

Hoed af, ofwel chapeau.

Succes met voorbereiden en migreren.

@Michel

Kunnen we iets voor je betekenen qua hulp?

 

[Michel]

Ja, fijn dat je het vraagt.

 

Wat heel erg zou kunnen helpen is dat als leden oude berichten tussen maart 2000 en 2007 zouden kunnen opzoeken waarin zaken staan die niet goed worden weergegeven zoals URL's, smilies, te veel 'whitespace' tussen zinnen etc.

Als je me die eventueel zou kunnen sturen als lijst met URL's steeds direct naar het betreffende bericht zelf, zou dat heel erg helpen.

 

[Tonskidutch]

oha, dat zijn er heel veel...

gaan we naar kijken.

[Michel]

Ik heb ze niet allemaal nodig, gewoon een stuk of 10 URL's van willekeurige voorbeelden van (oude) berichten die er vreemd uit zien, zou al top zijn.

 

De reden is dat we met een script ook meteen migraties van vroeger van ubb-forum naar ubbthreads en van ubbtherads naar IPS recht willen trekken.

 

Nutteloze dubbele lege regels er tussenuit, smilies die ontbreken zoals s <img src=“/ubbthreads/images/graemlins/kweetniet.gif” alt=“” /> omzetten naar een discourse smily, list items netjes omzetten en dat soort zaken.

 

Voorbeeld: 

 

 

De meeste zaken zitten al in mijn script, ik wil alleen kijken of ik nog zaken gemist heb.

 

# Opschoonscript v1.59

jaar = 2000

start_datum = DateTime.new(jaar, 1, 1)
eind_datum = DateTime.new(jaar, 12, 31, 23, 59, 59)

puts "Start van schoonmaak v1.59 voor het jaar #{jaar}..."
teller = 0
totaal_teller = 0
start_tijd = Time.now

Post.where(created_at: start_datum..eind_datum).find_each(batch_size: 1000) do |post|
  totaal_teller += 1
  new_raw = post.raw.dup

  # alias: --- Structuur & HTML Opschoning ---
  new_raw.gsub!(/<br\s*\/?>/i, "\n")
  new_raw.gsub!(/<p\s*\/?>/i, "\n\n")
  new_raw.gsub!(/&nbsp;/i, " ")
  new_raw.gsub!(/<\/?span[^>]*>/i, "")
  new_raw.gsub!(/<\/?div[^>]*>/i, "")
  new_raw.gsub!(/<li>/i, "* ")
  new_raw.gsub!(/<\/li>/i, "\n")
  new_raw.gsub!(/<\/?u[lo]>/i, "\n")
  new_raw.gsub!(/<\/?b>/i, "**")
  new_raw.gsub!(/<a\s+href=["'“”]?([^"'“”\s>]+)["'“”]?[^>]*>(.*?)<\/a>/i, '[\2](\1)')

  # alias: --- Smilie Conversie ---
  new_raw.gsub!(/<img[^>]+>/i) do |img_tag|
    src = img_tag.match(/src=["'“”]?([^"'“”\s>]+)["'“”]?/i)&.captures&.first
    alt = img_tag.match(/alt=["'“”]?([^"'“”>]+)["'“”]?/i)&.captures&.first || ""

    if alt == "[Proost!]" || (src && src.include?("beerchug.gif"))
      ":beers:"
    elsif alt == "[Glimlach]" || alt == "[Smile]" || (src && src.include?("smile.gif"))
      ":smile:"
    elsif alt == "[Knipoog]" || alt == "[Wink]" || (src && src.include?("wink.gif"))
      ":wink:"
    elsif alt == "[Lachen]" || (src && src.include?("laugh.gif"))
      ":laughing:"
    elsif (src && src.include?("tongue.gif"))
      ":tongue:"
    elsif (src && src.include?("confused.gif"))
      ":confused:"
    elsif (src && src.include?("mad.gif"))
      ":angry:"
    elsif (src && src.include?("smirk.gif"))
      ":smirk:"
    elsif (src && src.include?("frown.gif"))
      ":frowning:"
    elsif (src && src.include?("blush.gif"))
      ":blush:"
    elsif (src && (src.include?("xyxthumbs.gif") || src.include?("biggthumpup.gif")))
      ":thumbsup:"
    else
      src ? "![#{alt}](#{src})" : img_tag
    end
  end

  # alias: --- Link & BBCode Reparatie ---
  new_raw.gsub!(/\[[^\]]*\]\(<\s*base_url\s*>[^)]+\)/i, "")
  new_raw.gsub!(/\]\(https?;\/\//i, '](http://')
  new_raw.gsub!(/\[color[:=]\s*["'“”]?\s*([^"'“”\s\]]+)\s*["'“”]?\s*\]/i, '[color=\1]')
  new_raw.gsub!(/\[color=[^\]]+\]\s*\[\/color\]/i, "")

  # alias: --- Formatting ---
  new_raw.gsub!(/^-+edit-+/i, "\n---\n**Edit:**")
  new_raw.gsub!(/\n{3,}/, "\n\n")
  new_raw.strip!

  # alias: --- Opslaan & Voortgang ---
  if new_raw != post.raw
    post.update_columns(raw: new_raw)
    teller += 1
  end

  if totaal_teller % 5000 == 0
    gemiddelde = totaal_teller / (Time.now - start_tijd)
    puts "Voortgang #{jaar}: #{totaal_teller} berichten verwerkt... Snelheid: #{gemiddelde.round(1)} p/s"
  end
end

puts "Batch voor #{jaar} voltooid. #{teller} berichten robuust opgeschoond."

 

[Tonskidutch]

A zo eerder als "bad template" voor je scripts te optimaliseren

ja begrijp het

 

[Tonskidutch]

zo iets (gknipt en geplakt in Notepad++

new 1.txt

[Michel]

Ja, alleen de URL direct naar het betreffende bericht is voldoende.

[view]

Dit doet mij denken aan een eerdere migratie van Sat4all. Toen werd geprobeerd de oude looks zo goed en zo kwaad mogelijk te benaderen met de nieuwe software. En dat is (naar mijn persoonlijke mening) zeer goed gelukt. Ik ben benieuwd hoe de nieuwe software eruit gaat zien. Vast veel succes gewenst met deze monsterklus!!

[cookie monster]

8 uren geleden, Tonskidutch zei:

new 1.txt

 

10 uren geleden, Michel zei:

De meeste zaken zitten al in mijn script

Voor mij allemaal chinees , maar ik wens u veel succes !!

[Boldor]

Ik heb er lukraak ook een paar gevonden.

Succes, met deze onderneming

URLs_berichten.txt