קריאת קבצי XML בעזרת Python

15/08/2017

קריאת קבצי XML זה נושא כאוב ב-SQL Server, אם תשים תחבושת לא יעזור לך שנתיים: הפקודה אינה נוחה, לא משנה כמה פעמים השתמשתי בה בעבר – בכל פעם מחדש אני יוצא מדעתי והדברים ארוכים. בנוסף לכך – יש להכיר את הסכימה של ה-XML כדי “לפרסר” אותו בעזרת TSQL.יתכן שבמקרים מסויימים נצליח להיעזר בפתרון שלהלן, בכפוף לכך שהגרסה שלנו תומכת בפייתון (2017 וצפונה), ושה-XML כתוב כך שהפייתון יכול לו: הוא אינו אוהב שבכותרת הקובץ יש שורת פרטים בסגנון של <?xml version="1.0" encoding="UTF-8"?> תווים מסויימים מוציאים אותו מדעתו, בעיקר ‘גרשיים’ בודדים אם הופכים את המידע ל-JSON, סגירת תגיות לא מפורשת- <foo>bla..bla..bla</>...
תגיות: , , , ,
אין תגובות

עיצוב אימיילים ב-SQL Server בעזרת Python

13/08/2017

אצלנו מקובל לשלוח דוחות באימייל לרשימות תפוצה שונות: במקרה הטוב, כשיש תקלה, הנמענים מקבלים התרעה; ובמקרה הפחות טוב – הם מקבלים אימיילים גם כשהכל בסדר.. משל למה הדבר דומה? באמצע תוכנית טלוויזיה יש פתאום מבזק: מה קרה? פיגוע? לא: בסך הכל רוצים להודיע שלא קרה כלום ושאשר להירגע ולהמשיך לצפות בתוכנית..בכל מקרה: משלוח האימייל מתבצע בעזרת הפרוצדורה sp_send_dbmail, ויש שם שלל אפשרויות איך, מה, ולמי לשלוח. מקובל לשלוח אימיילים בעיצוב html שמאפשר להדגיש, לעמד, ולשלוח הודעה מעוצבת לתפארת. לשם כך יש לחזור למקורות ולהיזכר כיצד משתמשים בכל התגיות, יכולת בהחלט ראויה להערכה כשמדובר בילד ביסודי, אך לא כשמדובר ב-DBA.....
אין תגובות

Python: הורדת נתונים מהאינטרנט ל-SQL Server

10/08/2017

יכולת בהחלט שווה של פייתון, ובפרט אם היא מתבצעת מתוך SQL Server: הורדת נתונים מהאינטרנט.למשל- טבלת מדינות לפי צפיפות האוכלוסיה: נתחיל בפייתון לבד: import pandas as pdcountries=pd.read_html("https://simple.wikipedia.org/wiki/List_of_countries_by_population_density")countries אינני מציג כאן צילום מסך, כי בממשקי הפיתוח של פייתון הפלט אינו מעוצב, ואין טעם להשקיע בזה יותר מדי כי הפייתון הוא רק כלי עזר לשליפה לאדימיניסטרטור, ולא ממשק למשתמש הקצה.יתכן שיופיעו הודעות שגיאה לגבי מודולים שחסרים, ואזי כדאי להתקין את המודולים הבאים (אם אינם): pandaslxmlhtml5libBeautifulSoup4 כיצד מתקינים? בעזרת פקודת ההתקנה pip, למשל (בחלונית שורת הפקודה cmd): pip install pandas אם המערכת אינה מוצאת את pip, יש להפעיל אותו עם הנתיב המלא שלו.כדי למצוא...
אין תגובות

קול התור נשמע בארצנו: השימוש ב-Queue של Azure (והוצאת קיטור)

07/08/2017

מה בתוכניתנו? ל-Azure יש אובייקט בשם Queue שלכאורה יכול היה להיות תחליף ל-Service Broker שב-On Premise.Queue הוא אובייקט שסרוויס אחד מכניס לתוכו מידע, ואחר שולף על פי סדר ההכנסה (FIFO); כל זאת במסגרת עיבוד אסינכרוני. לו לא היו מספקים לנו Queues מן המוכן, היינו יכולים לאלתר בקלות פתרון עם טבלאות; אך אם מקבלים אובייקט עם הפונקציונליות המבוקשת בתוכו – נשתמש בו בשעת הצורך.גדולתו של Service Broker בעיני היא ביכולת לכלול בהגדרת ה-Queue פרוצדורה שקוראת ממנו, ואזי כלערך שמוכנס ל-Queue יוזם אוטומטית הפעלה של הפרוצדורה שתטפל בו. קצת דומה ל-Trigger על טבלה, אך עם היתרון בכך שההפעלה של הפרוצדורה היא...
תגיות: , , ,
אין תגובות

GraphDB ב-SQL Server 2017

18/07/2017

גרסת 2017 שבשעת כתיבת שורות אלו היא עדיין גרסת CTP (מה שנקרא בדרך כלל – גרסת בטה), תומכת ב-GraphDB, וב-SQL Azure הטכנולוגיה כבר זמינה לשימוש. טכנולוגיה זו שכוללת אובייקטים חדשים מחד, והרחבה של שפת TSQL עבורם; נועדה לטפל ברשתות, או ליתר דיוק – במידע לגבי רשתות. מבוא קצרצר לתורת הרשתות זו רשת (Graph): אוסף של קודקודים (Nodes) וקשתות (Edges), כשכל קשת מחברת בין שני קודקודים.הרשת יכולה לייצג אנשים וההיכרויות בינם, תחנות רכבת המקושרות בינן, קשרים בין אטומים במולקולות, ועוד.במקרה זה הקשתות הן סימטריות: המרחק מתחנת האוניברסיטה לתחנת הרצליה היא כמרחק מתחנת הרצליה לתחנת האוניברסיטה, ואם אני חבר...
אין תגובות

הרצת קוד SQL ב-Python

15/07/2017

לפני מספר שבועות פרסמתי את הפוסט הרצת קוד Python ב-SQL Server oשעסק ביכולת החדשה בגרסת 2017 הבעל”ט לשלב Python בתוך TSQL,והפעם נעסוק בצד השני המתרס – כיצד פונים מ-Python ל-SQL Server לצורך שליפה או עדכון.נתחיל בשליפה: import pyodbccon = pyodbc.connect('DRIVER={ODBC Driver 13 for SQL Server};PORT=1433;SERVER=tcp:teddicq7nm.database.windows.net,1433;PORT=1443;DATABASE=GeriReshefDB;UID=Ana;PWD=p@$$w0rD_p@$$w0rD')cursor = con.cursor()cursor.execute("Select * From T_Log;")Cr = cursor.fetchall()cursor.close()con.close()print(Cr)#I=0#while (I<;len(Cr)-1):# print(str(Cr) + " " + str(Cr))# I+=1 בשל רגישותו של Python להזחה (אינדנטיזציה) – יש לוודא שהשורות מוזחות באופן תקין.הסט מועבר לתוך list בשם row.במקרה זה אני מדפיס את כל ה-list בלי להתעכב על ענייני עיצוב רק כדי להמחיש...
תגיות: , , ,
אין תגובות

הפעלה וכיבוי אוטומטיים של VM ב-Azure (והמשך הקיטורים מהפוסט הקודם)

08/07/2017

שרתים וירטואלייםמחוייבים לפי המשאבים שהוקצו להם וזמן הפעילות, בניגוד לשרתים “בשר ודם” שהעלות המשתנה שלהם מתבטאת בצריכת חשמל ואולי בשחיקה מסויימת של החומרה. לכן כדאי לכבות אותם אם אינם בשימוש, ולחסוך חלק ניכר מהעלות.כדאי לציין ש”לכבות” אינו מתבטא רק בלהתחבר לשרת ולהוריד אותו, אלא בלכבות אותו דרך הפורטל – ואז הוא deallocated. משל למה הדבר דומה? החנתם את המכונית וכיביתם את המנוע כך שאינה צורכת יותר דלק, אבל עדיין צריך לשלם על החנייה. לו היה ניתן לעשות לה deallocation אפשר היה “להעלים” אותה לזמן מה ולחסוך גם את זה. הבהרה: כל מה שכתוב להלן מתייחס ל-VM שאינם Classic VM!...
אין תגובות

תזמון משימות ב-SQL Azure בעזרת Automation Accounts (והוצאת קיטור..)

06/07/2017

לפני כחצי שנה פרסמתי פוסט בשם תזמון משימות ב-SQL Azure בעזרת Azure Function ובו הסבר על תזמון של קוד #C שפונה ל-SQL Databse (גם הוא – ב-Azure),וכעת אותה הגברת בשינוי כותרת: הרצה של קוד PowerShell, בעזרת Automation Account.העובדה ש-Azure תומך גם ב-#C וגם ב-PowerShell זה מצויין, אך מה שפחות מובן זו העובדה שיש שני כלים שונים לתזמון של משימות. לא ברור למה.אולי זה כתוצאה מההשקעה של מיקרוסופט שמתבטאת בצוותים רבים שעובדים על משימות שונות, וכל אחד מקים תשתית משלו; ובעובדה שקשה למצוא את הידיים והרגליים בשלל האפשרויות הקיימות (“שלל אפשרויות” – טוב, “קשה למצוא” – לא טוב).התלונה העיקרית היא...
אין תגובות

מי פונה לעמודות בטבלה?

30/05/2017

אפשר בקלות יחסית לכתוב סקריפט שמוצא אילו אובייקטים (פרוצדורות, views וכו’) פונים לטבלה מסויימת בעזרת טבלת המערכת sys.sql_dependencies או קליק ימני ו-Dependencies על הטבלה בממשק הגרפי ב-SSMS; אך יותר מאתגר למצוא מי פונה לעמודות מסויימות בטבלה: הריי לא נרצה לקבל שמות של כמה עשרות אובייקטים שרובם פונים לעמודות אחרות שאינן מעניינות אותנו..השליפה (תואמת SQL 2016 ו-Azure): Declare @Obj Varchar(256)='dbo.MyTbl', @Col Varchar(Max)='Col1,Col2,Col3';With T As(Select Concat(Object_Schema_Name(D.object_id,DB_ID()),'.',Object_Name(D.object_id,DB_ID())) ObjectName, Concat(Object_Schema_Name(D.referenced_major_id,DB_ID()),'.',Object_Name(D.referenced_major_id,DB_ID())) ReferencedObjectName, D.is_selected, ...
אין תגובות

mssql-scripter מחולל סקריפטים

25/05/2017

אני חושב שאת הגלגל הזה – כלים שיוצרים סקריפטים לדטבייסים על כל תכולתם, כבר המציאו מספר פעמים – מיקרוסופט וצד ג’, אז הנה עוד אחד לרשימה.. מדובר בכלי של מיקרוסופט ששוחרר זה עתה, ומתבסס על התקנה של Python (אפרופו הפוסט האחרון שלי), כך שמי שרוצה ואין לו – שיתקין. התקנה בחלון CMD: pip install mssql-scripter במחשב אחד זה רץ, נפל באמצע, הופעל שוב וגמר בהצלחה;ובמחשב אחר זה רץ בהצלחה ולא התעוררה כל בעייה. הפעלה לדוגמה בחלון CMD (פניה ל-Instance המקומי הראשי): mssql-scripter -S localhost -d MyDB > c:\tmp\MyScript1.sql אפשר גם כך (פנייה ל-Instance משני בשרת אחר ותיעוד הדטבייס כולל...
אין תגובות