Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
Page MenuHomePhabricator

Create a Proof of Concept displaying data from Wikipedia/Wikidata
Closed, ResolvedPublic

Assigned To
Authored By
Salgo60
Sep 13 2018, 12:29 PM
Referenced Files
F27611209: Församlingar till Arkiv DIgital med NAD.json
Dec 17 2018, 11:58 AM
F27538907: image.png
Dec 13 2018, 8:11 PM
F26022800: image.png
Sep 18 2018, 3:34 PM
F26006767: image.png
Sep 18 2018, 9:23 AM
F26006811: image.png
Sep 18 2018, 9:23 AM
F26006376: image.png
Sep 18 2018, 8:46 AM
F25809329: image.png
Sep 13 2018, 1:16 PM
F25809290: image.png
Sep 13 2018, 1:13 PM

Description

Status: Prototype 1** use the SPARQL endpoint in Wikidata to retrieve Swedish Church parishes and then use the Wikipedia API for searching

TODO:

  1. prototype with a map and maybe also cemeteries, SOFI links, .... will look at Leaflet.js som används av eg. Wikidata
  2. prototype as modell context cards see blog och github

the thought is to display inside the Arkiv Digital application

  1. Wikipedia summary
  2. Picture church
  3. optional: links map, SOFI, historical maps, SCB, Anbytarforum

image.png (851×1 px, 238 KB)

To be done

Step 1 is just to extract data from Wikidata example "Häggesleds församling" WD:Q10531290
==> see Wikidata:Data_access ==>
Q10531290 ==> http://www.wikidata.org/wiki/Special:EntityData/Q10531290.json

Property 625 - coordinate

image.png (420×650 px, 50 KB)

Property 18 - image

image.png (303×739 px, 35 KB)

==> "Häggesleds kyrka - KMB - 16000200159109.jpg" ==> https://commons.wikimedia.org/wiki/File:Häggesleds_kyrka_-_KMB_-_16000200159109.jpg

Property 131 - in administrative ==> is another object wd:Q515358 Lidköpings kommun

image.png (287×412 px, 25 KB)

Open issue 1: Copyright
Open issue 1-1: Wikidata - all data in Wikidata is CC0
Open issue 1-2: Pictures in commons ???

Step 2 list with all Wikidata objects with a NAD number (we are still cleaning data see T199784: Wikidata cleaning Swedish Church parishes/ Svenska Församlingar)
OBS this is all =>> also not church parishes

List wd object, name , NAD

image.png (676×1 px, 192 KB)

to download a JSON file use option in right bar

image.png (612×494 px, 65 KB)

List with more fields wd object, item, itemLabel, NAD, img, adm, coord, article

image.png (778×1 px, 185 KB)

Video hur man hämtar datat i JSON eller i programkod

Extracting Wiki summary

API: Extension:TextExtracts

Event Timeline

Salgo60 triaged this task as Medium priority.Sep 13 2018, 12:29 PM
Salgo60 created this task.
Salgo60 updated the task description. (Show Details)

Asked Larske how to get the copyright status on a picture in Wikicommons referenced in a Wikidata object see question

Salgo60 updated the task description. (Show Details)
Salgo60 renamed this task from Create a Proof of Concept displaying data from Wikipedia to Create a Proof of Concept displaying data from Wikipedia/Wikidata.Sep 14 2018, 8:13 AM

Status week 38

T204229: Create a Proof of Concept displaying data from Wikipedia/Wikidata
https://phabricator.wikimedia.org/T204229

Done
  1. SPARQL query done
  2. Example of Ruby code how to retrieve it video
  3. T204230: Get a file from Arkiv Digital with all NAD numbers
    1. First match was done see {T204230#4584832}
Next
  1. @Salgo60 testar lite med Jquery (är dock mycket avdankad programmerare) se jsfiddle.net/salgo60
  2. @Salgo60 hitta enkelt sätt att kolla att bilderna kan användas med avseende på Copyright
    1. I have asked user Larske and got a complicated answer
    2. I also will check with @Lokal_Profil to find an easier way
  3. @Salgo60 Kollar igenom att alla NAD nummer jag fick från er har motsvarande i Wikidata med koordinat.... (kan vara att vissa "slask" församlingar saknar artikel eller är svåra att koordinatsätta) se T204230#4584832

@Salgo60
Alla bilder du hittar på Wikidata kommer ifrån Wikimedia Commons vilket betyder att de är ok att använda. Men det som kan spöka är om det finns attribueringskrav.

Det kan du lösa på lite olika sätt. Det enklaste är att du i din lösning gör så att bilden länkar till filbeskrivningssidan på Commons (typ denna) om man klickar på den. Sedan anger du någonstans något i still med att "upphovsrätten för bilderna kan variera, för att se mer info klicka på bilden". Det räcker oftast men kan bero lite på hur du anget andra källhängivelser/attribueringar.

Om man vill filtrera bort alla bilder som inte är CC0 eller Public Domain så är det svårare.
När väl Structured Data on Commons går live kommer du att kunna ställa en sparql fråga till Commons och få ut licensen maskinläsbart. Tills dess måste du göra ett API-anrop till Wikimedia Commons och hoppas på lite tur. Detta anrop illustrerar hur du får fram licensinformation fö den ena bilden men inte den andra medan detta får fram licensinformationen för båda men i ett ännu skitigare format.

Eftersom den data de APIanropen skickar tillbaka är automatiskt utvunnen från mallar och wikitext finns det ingen garanti att det alltid går att få fram licensinformationen, men i de allra flesta fall så går det.

@Lokal_Profil stort tack för svar.. Jag är lätt förvirrad i den här delen av världen

Jag sitter och gör en prototyp se fiddler där jag tänkte lägga in bilder

image.png (862×1 px, 444 KB)

Kollar jag på Rest API så står det

By using this API, you agree to Wikimedia's Terms of Use and Privacy Policy. Unless otherwise specified in the endpoint documentation below, content accessed via this API is licensed under the [[ https://creativecommons.org/licenses/by-sa/3.0/ | CC-BY-SA 3.0 ]] and [[ https://www.gnu.org/copyleft/fdl.html | GFDL ]] licenses, and you irrevocably agree to release modifications or additions made through this API under these licenses. See https://www.mediawiki.org/wiki/REST_API for background and details.

mitt IQ klarar inte av att förstå om

  • det är det samma som du säger och att det är ok att hämta en thumbnail och visa hos Arkiv Digital i deras programvara....
  • om detta API har andra regler/kontroller med avseende på Copyright

http://www.kringla.nu har tidigare bäddat in bilder från Wikimedia Commons men jag hittar idag inte ett exempel på detta. Återkommer när jag har en.

Tackar

Här verkar det vara en bild från Wikicommon SMVK-EM/fotografi/2100393 där man satt Public Domain

image.png (857×794 px, 286 KB)

Wikicommon har fått det från Statens museer för världskultur - Etnografiska museet

så kringla har satt Link to source = kulturarvsdata SMVK-EM/fotografi/...2100393 ==> collections.smvk.se object/2100393

image.png (591×548 px, 50 KB)

Den bilden är från SMVK direkt (sedan har de kanske tagit den från Commons)

http://www.kringla.nu/kringla/objekt?referens=raa/fmi/10002401910001 är ett exempel på en bild från Commons tagen av en volontär.

La upp hos Arkiv Digital att en prototyp finns att testa

image.png (900×1 px, 233 KB)

Hej jag gjorde en Fiddler prototyp.... som bygger på sökning istället för att bara hämta en post........
https://jsfiddle.net/salgo60/2qut3yxj/embedded/result/

1) listboxen fylls med en SPARQL sökning som känns stabil
Pasted image at 2018-09-18, 4:22 PM 

2) Sökning är ett API där man kan sätta lite olika parameterar....
ex. sökning Skövde församling https://sv.wikipedia.org/w/api.php?action=query&list=search&srsearch=Sk%C3%B6vde%20f%C3%B6rsamling&srlimit=400&format=json&prop=info&inprop=url&srqiprofile=classic

se dokumentation https://www.mediawiki.org/wiki/API:Search

<span class="searchmatch"> är classen på de sökord som den får träff på
Min fulkod har ni här... https://jsfiddle.net/salgo60/2qut3yxj/

Min tanke är att istället för listboxen skickar ni in en sökning..... återkommer om jag hittar på mer varianter..... finns en bra artikel om Page previews som är liknande detta https://jsfiddle.net/salgo60/2qut3yxj/embedded/result/

Task https://phabricator.wikimedia.org/T204229

Status: Del 1 fixad..... med sökprototyp

ev. del 2 med kartor och hämtar bilder.....

Väntar på feedback Arkiv Digital

Salgo60 moved this task from In progress to Done on the Magnus Sälgö board.
Salgo60 updated the task description. (Show Details)

Video om att söka ladda ned

Fil

Aklapper moved this task from Backlog to Done on the User-Salgo60 board.