|
The gioi bong da luon van dong khong ngung, va dang sau nhung pha bong man nhan la mot kho tang du lieu khong lo. Doi voi nhung nguoi dam me phan tich, ca cuoc thong minh, hay don gian la muon hieu sau hon ve hieu suat doi bong, viec khai thac du lieu tu cac trang cung cap ty so truc tuyen nhu Bongdaso tro thanh mot ky nang thiet yeu. Tuy nhien, lam the nao de tiep can nguon thong tin phong phu nay mot cach hop phap va hieu qua? Bai viet nay se la kim chi nam giup ban nam vung cac ky thuat lay du lieu bongdaso, bien du lieu tho thanh nhung hieu biet sau sac.
Tai Sao Du Lieu Bongdaso Lai Quan Trong Den Vay?
Bongdaso, voi vai tro la mot trong nhung cong thong tin the thao hang dau tai Viet Nam, tong hop gan nhu moi thong tin can thiet: ty so truc tiep, lich thi dau, ket qua doi dau, va thong ke chi tiet ve cau thu lan doi bong. Viec so huu du lieu nay khong chi phuc vu muc dich giai tri ma con la nen tang cho cac mo hinh du doan (prediction models) hoac cong cu so sanh ty le keo.
Neu ban dang tu hoi lam the nao cac chuyen gia phan tich co the dua ra nhung nhan dinh sac ben, cau tra loi nam o kha nang thu thap va xu ly du lieu. Du lieu lich su giup xac dinh xu huong phong do, diem manh/yeu co huu, va muc do tin cay cua cac nha cai dua tren bien dong ty le cuoc.
Phuong Phap Truy Cap Du Lieu: Tu Thu Cong Den Tu Dong
Viec lay du lieu (data scraping) co the duoc chia thanh hai nhom chinh: thu cong va tu dong. Su lua chon phuong phap phu thuoc vao nhu cau khoi luong du lieu va kien thuc ky thuat cua ban.
- Thu Thap Thu Cong (Manual Collection): Phuong Phap Co Ban
Doi voi nguoi dung ca nhan chi can mot luong nho du lieu theo thoi diem (vi du: ket qua tran dau vua ket thuc), viec sao chep va dan (copy-paste) la cach don gian nhat.
Uu diem: Don gian, khong can ky nang lap trinh.
Nhuoc diem: Ton thoi gian, de sai sot, khong the ap dung cho du lieu lon.
Khi thu thap thu cong, hay chu y den cau truc trinh bay cua Bongdaso: du lieu thuong duoc chia thanh cac bang (table) ro rang. Sao chep truc tiep tu cac bang nay va dan vao cac cong cu bang tinh nhu Excel hoac Google Sheets se giup ban giu duoc dinh dang co ban.
- Tu Dong Hoa Bang Ky Thuat Web Scraping: Chia Khoa Cua Du Lieu Lon
De khai thac triet de kho du lieu cua Bongdaso, ban can den Web Scraping – qua trinh su dung cac chuong trinh may tinh de tu dong trich xuat thong tin tu cac trang web.
Cong cu pho bien: Python la ngon ngu hang dau trong linh vuc nay, ket hop voi cac thu vien nhu Beautiful Soup (de phan tich cu phap HTML) va Requests (de gui yeu cau HTTP). Neu du lieu duoc tai dong bang JavaScript (AJAX), ban co the can den Selenium.
Quy trinh co ban khi lay du lieu Bongdaso:
Phan tich Cau truc HTML: Day la buoc quan trong nhat. Ban can su dung cong cu "Inspect Element" (Kiem tra phan tu) tren trinh duyet de xac dinh cac the HTML (tags), lop (classes) va ID chua du lieu ban muon lay (vi du: ten doi, ty so cuoi cung, thoi gian tran dau).
Xay dung Yeu cau HTTP: Gui yeu cau den URL muc tieu. Doi voi cac trang the thao lon, doi khi du lieu duoc tai thong qua cac API an hoac yeu cau POST phuc tap hon la chi don gian la GET.
Trich xuat va Lam sach Du lieu: Sau khi nhan duoc ma nguon HTML, su dung cac bo chon (selectors) da xac dinh o buoc 1 de loc ra chinh xac thong tin can thiet. Du lieu tho thuong chua ky tu thua hoac dinh dang khong dong nhat, doi hoi buoc "lam sach" (data cleaning).
Luu tru: Luu du lieu da xu ly vao dinh dang de quan ly nhu CSV, JSON, hoac truc tiep vao co so du lieu SQL/NoSQL.
Luu Y Quan Trong Ve Dao Duc Va Phap Ly Khi Scraping
Viec lay du lieu tu dong tren bat ky trang web nao, ke ca Bongdaso, deu can tuan thu cac nguyen tac dao duc va phap ly.
Kiem tra tep robots.txt: Hau het cac trang web lon deu co tep `robots.txt` (thuong tai duong dan `[Ten_Trang_Web]/robots.txt`). Tep nay chi ro nhung phan nao cua trang web duoc phep hoac khong duoc phep thu thap du lieu tu dong. Viec ton trong cac quy tac nay la bat buoc.
Gioi han Toc do (Rate Limiting): Dung gui qua nhieu yeu cau trong mot khoang thoi gian ngan. Viec nay co the bi hieu nham la tan cong tu choi dich vu (DDoS) va dan den viec dia chi IP cua ban bi chan vinh vien. Hay them do tre (delay) hop ly giua cac yeu cau (vi du: 3-5 giay).
Du lieu cong khai so voi Du lieu ca nhan: Du lieu ty so, lich thi dau la thong tin cong khai. Tuy nhien, tuyet doi khong co gang thu thap bat ky thong tin nhan dang ca nhan nao (neu co) ma khong duoc su cho phep ro rang.
Toi Uu Hoa Du Lieu De Phan Tich Sau Sac
Sau khi da thu thap duoc du lieu, thu thach tiep theo la bien chung thanh thong tin huu ich. Doi voi du lieu Bongdaso, hay tap trung vao cac chi so sau:
- Bien dong Ty le Cuoc (Odds Movement): Theo doi su thay doi cua ty le chap va tai/xiu truoc gio bong lan. Su dich chuyen lon co the goi y ve thong tin noi bo hoac danh gia lai cua thi truong.
- Hieu suat San nha/San khach: So sanh hieu suat ghi ban va thung luoi cua cac doi khi choi tai san nha so voi san khach.
- Thong ke XG (Expected Goals - Neu co): Mac du Bongdaso co the khong cung cap XG truc tiep, nhung ban co the ket hop du lieu cu sut trung dich va cac thong so tan cong khac de uoc tinh kha nang tao ban thang thuc te cua doi bong.
Viec lay du lieu Bongdaso khong chi la mot bai tap ky thuat ma con la canh cua mo ra kha nang phan tich chuyen sau ve bong da. Bang cach tiep can co he thong, ton trong quy tac, ban se xay dung duoc nguon tai nguyen du lieu ca nhan vo gia, giup nang tam trai nghiem theo doi mon the thao vua cua minh. Xem them:Livescore, Nhung duong link huu ich:
|