ピクシブ流データ活用基盤のこれまでとこれから #pixivTECHSALON / 20190305

Transcript

1. ϐΫγϒྲྀσʔλ׆༻ج൫ͷ ͜Ε·Ͱͱ͜Ε͔Β  pixiv.inc minamitary

2. σʔλ׆༻ج൫ ࠓ೔࿩͢͜ͱ

3. @minamitary / ৿ా༸հ 2015೥த్ೖࣾ pixivӡӦຊ෦ + σʔλۦಈਪਐࣨ ΤϯδχΞ + UX

   Ϧαʔνϟʔ ྖҬԣஅతͳಈ͖ํΛ͢Δ͜ͱ͕ଟ͍ ࣗݾ঺հ

4. • 2015೥ɿೖࣾޙʮsenseiʯͷ্ཱͪ͛ʹϦʔυΤϯδχΞͱͯ͠ࢀՃ • 2016೥ɿsenseiͷϦϦʔεޙάϩʔεΛ୲౰ɺͦͷޙʮpixivʯ΁ • Ҏ߱ΫϦΤΠλʔΛத৺ͱͨ͠UXϦαʔνΛओʹ୲౰ • ఆྔతϦαʔνͰBigQueryΛୟ͖࢝Ίͯ໿̏೥ ࣗݾ঺հ ʴ

5. ͓ֆ͔͖ྺ̏೥

6. σʔλ׆༻ج൫ ࠓ೔࿩͢͜ͱ

7. ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫ ≒ BigQuery

8. • BigQueryʹσʔλΛूΊ͚ͨͩͰ͸μϝ • ࢖ΘΕͳ͚Ε͹σʔλʮ׆༻ʯج൫Ͱ͸ͳ͍ ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫

9. ʮ׆༻ʯʹͲ͏ཱͪ޲͔͏͔

10. • ʮ׆༻ʯΛ८ͬͯɺ̏೥ͷؒʹ৭ʑͳมԽ͕͋ͬͨ • ٕज़తͳมԽ͚ͩͰͳ͘ɺ૊৫తͳมԽ΋େ͖͔ͬͨ ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫

11. • ͜ͷ̏೥Ͱσʔλ׆༻ج൫ʹੜͨ͡มԽ ‣ ٕज़తͳมԽ ‣ ૊৫తͳมԽ • ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫ͷ͜Ε͔Β ࠓ೔࿩͢͜ͱ

12. ʮΦʔφʔγοϓʯ

13. Φʔφʔγοϓʁ ୲౰͢ΔϓϩμΫτʹର͢ΔΦʔφʔγοϓ

14. Φʔφʔγοϓʁ ʮԶ͕͜ͷϓϩμΫτΛੈքҰʹ͢ΔΜ΍ʂʯ

15. • શ৬छ͕ϢʔβʔΛத৺ʹΈͯಈ͘ • Ϣʔβʔ࠷༏ઌ = ৬छؒͷ͕֞ࠜ௿͍ • ϓϩμΫτѪɾΧϧνϟʔѪ͕ڧ͍ϝϯόʔ͕ଟ͍ લఏɿϐΫγϒͷاۀจԽ

16. ʮΦʔφʔγοϓ͕ڧ͍ʯ ͱ͍͏ͷ͕ϐΫγϒʹ͓͚Δେલఏ

17. υϝΠϯཧղ͕σʔλ׆༻ͷਫ਼౓ΛߴΊΔ υϝΠϯཧղͷਂ͍ਓ͕σʔλΛ׆༻͍ͯ͘͠΂͖
     Φʔφʔγοϓ͸ͳͥॏཁʁ

18. Φʔφʔγοϓ͕υϝΠϯཧղΛਂΊΔ ͭ·ΓΦʔφʔγοϓ͕σʔλ׆༻ͷਫ਼౓ΛߴΊΔ Φʔφʔγοϓͷڧ͍։ൃऀ͕σʔλΛ׆༻͍ͯ͘͠΂͖
     Φʔφʔγοϓ͸ͳͥॏཁʁ

19. σʔλ׆༻͸ Φʔφʔγοϓͱηοτ جຊݪଇɿ

20. ΋͏ҰͭͷϐΫγϒͷಛ௃

21. ଟछଟ༷ͳϓϩμΫτ

22. • υϝΠϯྖҬ͸͢΂ͯʮ૑࡞׆ಈʯ • αʔϏεܗଶ͸ҟͳΓͭͭ΋ɺϢʔβʔ૚͸ಉ͡ • Ϣʔβʔ୯ҐͰͷ݁ͼ͚͕ͭେࣄʂ ϐΫγϒͷ๊͑ΔϓϩμΫτ

23. • ʮσʔλ׆༻͸Φʔφγοϓͱηοτʯ͸ҡ࣋ • σʔλ׆༻ͷʮڮ౉͠ʯ΋ඞཁ ͦΕΏ͑ʹ……

24. ʮΦʔφʔγοϓʯ ʮڮ౉͠ʯ ೋͭͷϙΠϯτɿ

25. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩

26. ࣌͸ḪΔ͜ͱ3೥……

27. • σʔλ͸طʹBigQueryʹ৐ͬͯͨ • ར༻։࢝͸2014೥ʂ ٕज़ฤ -3೥લ-

28. • DBϨϓϦΧΛ౎౓ୟ͘ • Google AnalyticsͷAPIΛୟ͍ͯूܭ • ൿ఻ͷεϓϨουγʔτͷཚཱ • σʔλ΋෦෼తʹ্͔͕͍ͬͯ͠ͳ͍ʂ ʮ׆༻ʯ͸ݶఆత……

29. 3೥ޙ

30. σʔλ͸BigQueryʹू໿ JOIN͠์୊ʂ

31. • ൿ఻ͷεϓϨουγʔτɿ΄΅ফ໓ʂ • ൿ఻ͷूܭεΫϦϓτɿ΄΅ফ໓ʂ • ؅ཧը໘্ʹ఺ࡏ͍ͯͨ͠άϥϑ܈ɿ΄΅ফ໓ʂ • શͯͷσʔλॲཧ͕SQLͰهड़͞ΕΔੈքʹ ෼ੳखஈ΋BigQueryʹ౷Ұ

32. • WITH۟΍ϏϡʔͰલॲཧΛ؆ུԽ • ࢖͍ճ͠΍͍͢WITH۟Λࢿ࢈ͱͯ͠อଘɾγΣΞ • SQLͷڞ௨ࢿ࢈Խʂ શ͕ͯSQLͰهड़͞ΕΔੈք

33. • SQL֮͑͑͞Ε͹σʔλΛ׆༻Ͱ͖Δੈք • BigQuery্Ͱσʔλॲཧ͕׬݁ • ϚγϯϦιʔεΛҙࣝ͢Δඞཁ͕ͳ͍ શ͕ͯSQLͰهड़͞ΕΔੈք

34. • ʮSQLศརʯʮSQLΠέͯΔʯ • ݁ՌϏδωεଆͷਓؒʹ΋SQLར༻͕֦େ • ΦʔφʔγοϓͷԸܙʂ શ͕ͯSQLͰهड़͞ΕΔੈք

35. ʮڮ౉͠ʯ͠΍͍͢؀ڥ͕Ͱ͖ͨʂ

36. • ͢΂ͯͷσʔλ͕BigQueryʹू໿͞Εͨ • ෼ੳखஈ͕SQLʹ౷Ұ͞Εͨ • ʮڮ౉͠ʯ͕΍Γ΍͘͢ͳͬͨ ٕज़తͳมԽ·ͱΊ

37. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩

38. ࠶ͼḪΔ͜ͱ3೥……

39. • ֤෦ॺ͕ͦΕͧΕͰؤுΔ • Ϗδωεܥͷ෦ॺΛத৺ʹσʔλ͕׆༻͞Εͯ͸͍ͨ • μογϡϘʔυɺ؅ཧը໘ɺεϓϨουγʔτͷཚཱ ૊৫ฤ -3೥લ-

40. എܠɿ૿͑Ώ͘ϓϩμΫτ 9ݸ 2016/01 20ݸ 2019/01 ͜ͷ3೥ؒͰϓϩμΫτͷ਺͸2ഒҎ্ʹ

41. • ͦΕʹԠͯ͡νʔϜͷ਺΋૿Ճ • νʔϜʹσʔλಘҙϚϯ͕͍ͳ͍ • ยखؒσʔλΤϯδχΞϦϯά എܠɿ૿͑Ώ͘ϓϩμΫτ

42. ෼ੳઐ໳ͷ෦ॺΛ࡞Δ΂͖ʁ

43. • جຊݪଇʮσʔλ׆༻͸ΦʔφʔγοϓͱηοτͰʯ • ʮσʔλ͸͋ͷ෦ॺͷਓ͕ݟͯ͘ΕΔʯͱ͍͏ҙࣝ͸ ආ͚͍ͨ ౴͑͸NOʂ

44. ෼ੳ୲౰ऀ͸֤෦ॺ಺ʹ͍Δ΂͖ ͱ͸͍͑ԣͷܨ͕Γ͸ඞཁ……

45. ରࡦ

46. ରࡦ SlackνϟϯωϧΛ࡞͚ͬͨͩ

47. • ࣾ಺ษڧձ༻ͷSlackνϟϯωϧΛ࡞Δ • ษڧձऴྃޙɺओ࠵ϝϯόʔ͕݁ୗ • ʮσʔλʹڵຯ͋Δਓ͸͜͜ʹདྷͯ͘ΕʂʯΞϐʔϧ ܦҢ

48. • νϟϯωϧʹਓ͕ू·Γ͸͡ΊΔ • ଟ਺ͷ૬ஊ͕دͤΒΕΔ • ଞ෦ॺͷৄ͍͠ਓ͕ͦΕʹԠ͡ΔจԽ • ʮ͜͜ʹߦ͚͹ղܾ͢Δʯ͞Βʹਓ͕૿͑Δʂ ܦҢ

49. • ि࣍Ͱ෼ੳ୲౰͕ू·ΔΑ͏ʹ ‣ ৽نσʔληοτ௥Ճͷ࿈བྷ ‣ ৽͍͠μογϡϘʔυͷڞ༗ ‣ BigQueryͷ৽ػೳ঺հ ‣ ௕ظతͳํ਑ܾΊ

    ‣ ͳͲͳͲ
     ܦҢ

50. ઐ໳෦ॺۦಈͰ͸ͳ͍ ࣗൃతͳʮ׆༻ʯج൫ͷվળ

51. 
     Why?

52. • ʮΦʔφʔγοϓʯͱ͍͏ϐΫγϒͷاۀจԽ͋Γ͖ • ʮϓϩμΫτΛ੒௕ͤ͞Δ্Ͱɺඞཁ͔ͩΒ΍Δʯ Why?

53. • Φʔφʔγοϓ + ϕετϓϥΫςΟεͷಉظ • ʮ͜Ε͕ϕετϓϥΫςΟεʯ͕ಉظ͞ΕΔ͜ͱͰ…… →ʮͪΐͬͱख͕ۭ͖ؾຯͳͷͰΨοͱվળ͓͖ͯ͠·͢ʯ →ʮߋʹϥΫʹͰ͖Δํ๏Λࢥ͍͖ͭ·ͨ͠ʯ →ʮ͜ͷBigQueryͷ৽ػೳ͸ศརͦ͏ͳͷͰ࢖ͬͯΈ·͠ΐ͏ʯ
    

     Why?

54. • ʮΦʔφʔγοϓʯͷൃشઌΛಉظ͢Δඞཁੑ • ͦͷͨΊͷɺSlack౳ʹ͓͚Δʮڮ౉͠ʯͷઃܭ
     Why?

55. • Slackνϟϯωϧ࡞੒͕มԽͷ͖͔͚ͬ • νϟϯωϧʹਓ͕ू·Γɺԣͷ࿈ܞ͕ڧԽ • ʮڮ౉͠ʯʹΑΔϕετϓϥΫςΟεͷಉظ • ʮΦʔφʔγοϓʯϕʔεͰԣஅతͳج൫վળ͕Մೳʹʂ
    

    ૊৫తͳมԽ·ͱΊ

56. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩

57. ͦͷલʹ

58. • ٕज़తͳมԽ͚ͩΛਐΊ͍ͯͨΒ……ʁ • ૊৫తͳมԽ͚ͩΛਐΊ͍ͯͨΒ……ʁ • ͲͪΒ΋ʮ׆༻ʯ͸੒Γཱͨͳ͍ʂ ৼΓฦͬͯΈΔͱ……

59. 
     ৼΓฦͬͯΈΔͱ… ٕज़తมԽ ૊৫తมԽ

60. σʔλ׆༻͸ Φʔφʔγοϓͱηοτ جຊݪଇɿ

61. ٕज़తมԽ͸ ૊৫తมԽͱηοτ ΋͏Ұͭͷجຊݪଇɿ

62. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩

63. ࡢ೥຤ CTO ෦ॺ࡞ͬͪΌ͓ʂ

64. ࡢ೥຤ ʮσʔλۦಈਪਐࣨʯͷ஀ੜ

65. • جຊݪଇʮσʔλ׆༻͸ΦʔφʔγοϓͱηοτͰʯ • ෼ੳͷ࣮຿͸୲౰͠ͳ͍ʂ • ֤෦ॺͷσʔλ׆༻Λαϙʔτɾਪਐ͢Δ໾ׂ • Ϗδωε໘ɾUX໘ɾٕज़໘͢΂͕ͯର৅ʂ σʔλۦಈʮਪਐʯࣨ

66. None

67. ΑΓΞΫϩόςΟοΫʹ ʮಈ͚Δʯ Α͏ʹ෦ॺԽ

68. ۩ମతͳΞϓϩʔν https://inside.pixiv.blog/jaggy/6421 ϢʔβʔʹՁ஋Λ࠷଎Ͱಧ͚ΔͨΊʹɻ ϐΫγϒͷʮσʔλຽओԽʯʹ޲͚ͨ௅ઓ

69. • ٕज़తͳτϐοΫ΋ͨ͘͞Μ ‣ BigQuery্Ͱେن໛ͳσʔλΛѻ͏ࡍͷϊ΢ϋ΢ ‣ BigQueryपลͰར༻͍ͯ͠Δπʔϧ܈ɾ۩ମతͳ࣮૷಺༰ ‣ ϐΫγϒͳΒͰ͸ͷσʔλ׆༻ࣄྫ͋Ε͜Ε ‣ ͳͲͳͲ……

    • ৄ͘͠ฉ͖͍ͨํ͸࠙਌ձͰʂ
     ۩ମతͳΞϓϩʔν

70. • σʔλ׆༻͸Φʔφʔγοϓͱηοτ • ٕज़తมԽ͸૊৫తมԽͱηοτ • σʔλۦಈਪਐ͕ࣨͰ͖ͨ ·ͱΊ

71. ࣾһ΋ϓϩμΫτ΋૿͑ଓ͚Δ͚Ͳɺ ʮ૑࡞׆ಈ͕΋ͬͱָ͘͠ͳΔ৔ॴΛ૑Δʯؾ࣋ͪ͸มΘΒͳ͍ɻ ϐΫγϒ͸σʔλͷྗͰ૑࡞׆ಈΛࢧ͍͑ͯ͘ɻ